[論文レビュー] Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions

Zhengxian Lin, Kim-Ho Lam+1 more|arXiv (Cornell University)|Oct 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 11

ひとこと要約

本稿では、一般化価値関数（GVFs）を用いて人間が理解可能な未来予測を対比することで、行動の好みを説明する深層強化学習アーキテクチャである埋め込み自己予測（ESP）モデルを提案する。GVFsをエージェントの最適方策の自己予測に学習させることで、統合勾配と最小十分説明を用いた整合的で対比的な説明を可能にし、複雑なリアルタイムストラテジー・ゲームで検証された結果は、洞察に富み、人間が解釈可能なものであった。

ABSTRACT

We investigate a deep reinforcement learning (RL) architecture that supports explaining why a learned agent prefers one action over another. The key idea is to learn action-values that are directly represented via human-understandable properties of expected futures. This is realized via the embedded self-prediction (ESP)model, which learns said properties in terms of human provided features. Action preferences can then be explained by contrasting the future properties predicted for each action. To address cases where there are a large number of features, we develop a novel method for computing minimal sufficient explanations from anESP. Our case studies in three domains, including a complex strategy game, show that ESP models can be effectively learned and support insightful explanations.

研究の動機と目的

• 人間が理解可能な対比的未来予測（原始的なQ値ではなく）を用いて、行動の好みを説明する深層RLエージェントを開発すること。
• 高次元状態空間における複雑な行動好みを説明する課題に、価値関数に意味的でドメイン提供の特徴を埋め込むことで対処すること。
• エージェント自身のグリーディ方策を自己予測するようにGVFsを学習させることで、説明の整合性を保証すること。
• 高次元特徴設定における説明を簡素化するために、最小十分説明と統合勾長を用いて特徴の寄与度を特定すること。

提案手法

• ESPモデルは、一般化価値関数（GVFs）を行動価値関数に埋め込み、各GVFが将来の軌道における人間が提供した特徴の期待割引累積値を予測する。
• GVFsは自己予測に学習される：Q関数から導かれる方策は、予測されたGVF値を最大化する方策と一致する必要がある。
• 表計算設定での理論的収束保証と深層RLにおける実証的検証を備えたESP-DQNアルゴリズムが導入された。
• 統合勾長（IG）が、ある行動が他の行動よりも好まれる理由を説明する特徴寄与度を計算するために適用され、寄与度の整合性が保証された。
• 最小十分説明（MSE）が、説明の妥当性を維持しつつ、高次元特徴空間における解釈可能性を向上させるために、最小の特徴集合を同定するために用いられた。
• フレームワークは、3つのドメインで評価され、実戦的リアルタイムストラテジー・ゲーム（StarCraft II）を含み、GVF予測と寄与度の定性的および定量的分析が行われた。

実験結果

リサーチクエスチョン

• RQ1 深層RLエージェントは、原始的なQ値ではなく、人間が理解可能な未来の性質を用いて、行動の好みの対比的説明を提供できるか？
• RQ2 GVFsをQ関数に埋め込む方法は、エージェントの方策が予測された未来の性質と整合的になるように保証できるか？
• RQ3 統合勾長は、GVFsの文脈において、特徴寄与度の寄与に忠実で整合的な説明を生成できるか？
• RQ4 高次元で複雑な説明を損なわず、簡素化するための最小十分説明はどのように計算できるか？
• RQ5 ESPモデルが生成する説明は、ドメイン知識とどの程度一致し、エージェント行動の正当な推論と欠陥の両方を明らかにするか？

主な発見

• StarCraft IIの事例研究において、ESPモデルは+8マリーンの購入が敵インモルタルのダメージを減らし、味方マリーンを敵基地に近づけることで、より速い勝利につながることを正しく特定した。
• モデルは、非最適な行動が予想されるダメージと基地破壊確率を高める結果を示し、ゲームメカニクスと一貫していた。これは、モデルの推論が妥当であることを検証した。
• 統合勾長は、敵インモルタルへの防御（F94）がトップの好まれる要因であると寄与度を示し、エージェントがユニット数よりも脅威低減を優先していることを明らかにした。
• 最小十分説明は、関連する特徴の数を効果的に削減し、行動好みの背後にある最も顕著な要因に注目できるようにした。
• モデルは、GVF予測における欠陥を特定した。例えば、予想される生存ユニット数が負になる現象が観察され、トレーニング時にReLUなどの出力制約が必要であると示唆された。
• 説明は、既知のゲームメカニクスと一致した—例えば、マリーンはインモルタルに、バネリンはマリーンに反撃する—これは、モデルがドメイン関連の戦略的論理を正しく捉えていることを示した。