[論文レビュー] Explaining Reinforcement Learning with Shapley Values

Daniel Beechey, Thomas M. S. Smith+1 more|arXiv (Cornell University)|Jun 9, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文は、強化学習におけるエージェントのパフォーマンスへの個々の状態特徴の寄与を説明する理論的根拠を持つフレームワークSVERL（Shapley Values for Explaining Reinforcement Learning）を導入する。特徴の寄与をポリシーに基づく特性関数でモデル化し、近接多様体上でのサンプリングを用いて近似することで、複数の環境において人間の直感と整合する直感的で正確な説明を生成する。

ABSTRACT

For reinforcement learning systems to be widely adopted, their users must understand and trust them. We present a theoretical analysis of explaining reinforcement learning using Shapley values, following a principled approach from game theory for identifying the contribution of individual players to the outcome of a cooperative game. We call this general framework Shapley Values for Explaining Reinforcement Learning (SVERL). Our analysis exposes the limitations of earlier uses of Shapley values in reinforcement learning. We then develop an approach that uses Shapley values to explain agent performance. In a variety of domains, SVERL produces meaningful explanations that match and supplement human intuition.

研究の動機と目的

• 関数近似器（たとえば深層ニューラルネットワーク）を用いた高容量の強化学習エージェントに対して、原理的で後処理型の説明手法が不足している問題に対処すること。
• 従来の強化学習におけるShapley値の使用に見られる理論的欠陥を特定・是正すること。これはしばしばフレームワークが誤って適用されていたためである。
• 個々の状態特徴が期待報酬に与える寄与を定量化することによって、エージェントパフォーマンスを説明する新しいフレームワークの開発。
• 説明手法が理論的に整合的であり、ゲーム理論の公平性公理を満たすとともに、計算的に実行可能であることを保証すること。
• 得られる説明が人間の直感と一致し、実世界の強化学習応用における解釈可能性を向上させることの妥当性を検証すること。

提案手法

• 状態特徴をプレイヤーとし、パフォーマンスを報酬とする協力ゲームとして強化学習の説明を定式化するSVERLというフレームワークを提唱する。
• 集合$ C $に含まれる特徴のみが観測可能である場合の期待報酬として、特性値関数$ v(C) $を定義する。このとき、ポリシーはこれらの特徴に条件付けられた完全な行動をとる。
• 標準的なShapley値の公式$ \phi_i(v) = \sum_{C \subseteq \mathcal{F} \setminus \{i\}} \frac{|C|!(|\mathcal{F}| - |C| - 1)!}{|\mathcal{F}|!} \cdot \delta(i, C) $を用いる。ここで$ \delta(i, C) $は、特徴$ i $を団体$ C $に追加した際の限界利益を表す。
• 近接多様体上でのサンプリングを適用し、部分集合の特徴に条件付けた状態遷移をサンプリングすることで、期待報酬の推定に用いる。
• モンテカルロロールアウトを用いて、異なる部分観測ポリシー下での期待報酬を推定し、Shapley値のスケーラブルな計算を可能にする。
• 特徴を削除した際のポリシーの変化を明示的にモデル化するSVERL-Pという変種を導入し、パフォーマンスへの影響の正確な割り当てを保証する。

Figure 2 : Top panel: Shapley values applied to a state-action value function in Gridworld-A ( Figure 1(a) ). Bottom panel: SVERL-P, presented in Section 4 , for the same domain. The optimal action is always North so we intuitively expect contributions to performance to be zero for all state feature

実験結果

リサーチクエスチョン

• RQ1 Shapley値を強化学習ポリシーの説明に正しくかつ一貫して適用する方法は何か？ これにより、過去の理論的誤りを回避できるか？
• RQ2 強化学習において説明すべき最も価値のある側面は何か？ なぜエージェントパフォーマンスは重要だが、しばしば見過ごされている目標なのか？
• RQ3 状態特徴に対するShapleyベースの説明は、人間の理解と整合する直感的で意味のある洞察を生み出せるか？
• RQ4 高次元状態空間が一般的な現実世界の強化学習タスクにおいて、Shapley値をどのように効率的に近似できるか？
• RQ5 特徴の寄与度を特定することの実用的意義は何か？ 信頼性向上、デバッグ、ポリシー設計への応用について説明する。

主な発見

• SVERLは、Shapley値の公平性公理を満たす理論的に整合性のある説明フレームワークを提供し、強化学習における過去の誤ったまたは不完全な適用を是正する。
• 特徴を削除した際のポリシー変化を明示的にモデル化するSVERL-Pは、グリッドワールドやその他のドメインにおいて、正確で人間の直感と一致する説明を生成する。
• 近接多様体上でのサンプリングによる近似計算により、大規模な状態空間でもSVERLの実装が可能となり、教師あり学習における収束保証と類似した性質を示す。
• この手法は、エージェントパフォーマンスに最も寄与している状態特徴を特定するのに成功し、ポリシーの改善やデバッグに役立つ具体的な知見を提供する。
• SVERLの説明は解釈可能で拡張可能であり、ユーザーが特徴の役割について仮説を立てられるが、その仮説は実証的検証を要する。
• このフレームワークは一般化可能で、グループShapleyなどの既存のShapley値手法の進展とも互換性があり、スケーラブルでグループ化された特徴の寄与度の説明に応用可能である。

Figure 3 : On the left: Shapley values applied to a state-value function in a Tic-Tac-Toe state. On the right: SVERL-P, presented in Section 4 , for the same state. Shapley values are represented using a color scale projected onto each cell. There are 9 state features, corresponding to each position