[论文解读] A Survey on Interpretable Reinforcement Learning

Claire Glanois, Paul Weng+5 more|arXiv (Cornell University)|Dec 24, 2021

Explainable Artificial Intelligence (XAI)被引用 15

一句话总结

本综述全面概述了可解释强化学习（IRL），将方法分类为可解释输入、可解释转移/奖励模型以及可解释决策。它强调可解释性作为归纳偏置而非事后可解释性，回顾了2013–2021年的最新进展，并指出了可扩展性、评估以及与性能之间的权衡等关键挑战。

ABSTRACT

Although deep reinforcement learning has become a promising machine learning approach for sequential decision-making problems, it is still not mature enough for high-stake domains such as autonomous driving or medical applications. In such contexts, a learned policy needs for instance to be interpretable, so that it can be inspected before any deployment (e.g., for safety and verifiability reasons). This survey provides an overview of various approaches to achieve higher interpretability in reinforcement learning (RL). To that aim, we distinguish interpretability (as a property of a model) and explainability (as a post-hoc operation, with the intervention of a proxy) and discuss them in the context of RL with an emphasis on the former notion. In particular, we argue that interpretable RL may embrace different facets: interpretable inputs, interpretable (transition/reward) models, and interpretable decision-making. Based on this scheme, we summarize and analyze recent work related to interpretable RL with an emphasis on papers published in the past 10 years. We also discuss briefly some related research areas and point to some potential promising research directions.

研究动机与目标

• 解决深度强化学习（DRL）中可解释性的关键需求，以支持在医疗保健和自动驾驶等高风险领域中的部署。
• 区分可解释性（作为模型属性）与可解释性（作为事后操作），重点强调可解释性作为强化学习中的设计原则。
• 系统性地对近期IRL方法进行分类与分析，涵盖三个维度：可解释输入、可解释转移与偏好模型，以及可解释决策。
• 突出可解释性作为正则化技术的作用，以提升泛化能力、数据效率与鲁棒性。
• 识别开放性问题，包括评估指标、可扩展性，以及可解释性与性能之间的权衡。

提出的方法

• 基于三个组成部分提出可解释RL的分类法：输入、转移/奖励模型与决策策略。
• 综述使用结构化表示、符号学习与层次强化学习的方法，以提升输入的可解释性。
• 考察学习可解释转移模型（如使用神经符号方法）与偏好模型（如用于奖励塑造）的方法。
• 回顾架构归纳偏置（如注意力机制、图网络）与以可解释性为导向的正则化方法，以将可解释性直接嵌入策略中。
• 区分直接方法（如符号策略）与间接方法（如模块化或层次化）在策略可解释性中的应用。
• 简要讨论事后可解释性技术，但重点仍放在内在可解释性上。

实验结果

研究问题

• RQ1 在强化学习背景下，如何系统性地定义可解释性，并将其与可解释性区分开来？
• RQ2 在RL中实现可解释输入的关键方法论是什么？它们如何提升模型的透明度？
• RQ3 可解释转移与偏好模型在多大程度上能增强基于模型的RL的透明度与可靠性？
• RQ4 设计可解释决策策略时，最有效的架构与正则化技术有哪些？
• RQ5 在评估可解释性以及在可扩展性与性能之间实现平衡方面，主要的开放性挑战是什么？

主要发现

• 由于伦理、法律、操作与可用性方面的关切，特别是在安全、问责制与信任方面，可解释强化学习在高风险应用中至关重要。
• 可解释输入（如符号或结构化表示）可提升模型透明度，并减少对虚假特征的依赖。
• 学习可解释的转移与偏好模型可增强基于模型的RL中的可验证性、可调试性与泛化能力。
• 架构归纳偏置与以可解释性为导向的正则化方法可将可解释性直接嵌入策略中，从而提升数据效率与鲁棒性。
• 可解释性与可扩展性之间存在显著权衡，因为完全可解释的策略（如程序化形式）通常在学习上属于NP难问题。
• 目前尚无标准化的可解释性或可解释性评估指标，阻碍了该领域的比较分析与进展。