[論文レビュー] Identifying Reasoning Flaws in Planning-Based RL Using Tree Explanations

Kin-Ho Lam, Zhengxian Lin+6 more|arXiv (Cornell University)|Sep 28, 2021

Explainable Artificial Intelligence (XAI)参考文献 11被引用数 4

ひとこと要約

本論文では、計画ベースの深層強化学習エージェントの推論的誤りを特定するために、木構造による説明を用いる手法を提案している。この手法により、人間の専門家が探索木内の個々の意思決定ステップを検査可能となり、ToWゲームエージェントの学習モデルに非自明な誤りが存在することを特定した。具体的には、基地の体力増加の誤判断や、行動評価の誤りが判明し、複雑なRLシステムの改善に向けたミクロレベルの分析の有効性が示された。

ABSTRACT

Enabling humans to identify potential flaws in an agent's decision making is an important Explainable AI application. We consider identifying such flaws in a planning-based deep reinforcement learning (RL) agent for a complex real-time strategy game. In particular, the agent makes decisions via tree search using a learned model and evaluation function over interpretable states and actions. This gives the potential for humans to identify flaws at the level of reasoning steps in the tree, even if the entire reasoning process is too complex to understand. However, it is unclear whether humans will be able to identify such flaws due to the size and complexity of trees. We describe a user interface and case study, where a small group of AI experts and developers attempt to identify reasoning flaws due to inaccurate agent learning. Overall, the interface allowed the group to identify a number of significant flaws of varying types, demonstrating the promise of this approach.

研究の動機と目的

• 高水準な行動からは見えないが、高性能な計画ベースのRLエージェントにおける推論的誤りを、人間の専門家が特定できるようにすること。
• 意思決定を解釈可能なステップに分解する木構造による説明が、探索木の複雑さにもかかわらず、誤り特定に有効であるかどうかを検証すること。
• 複雑な環境におけるRLエージェントのデバッグを、人間による木構造的推論の検査が実現可能で効果的かどうかを評価すること。
• 人間が特定した誤りパターンを一般化し、スクリプトを用いて大規模に自動検出できるかを検討すること。
• エージェントの意思決定プロセスを的確にレビューできるようにする、説明インターフェースの設計を支援すること。

提案手法

• ゲームのリプレイ中に計画ベースのRLエージェントが生成する状態-行動木をナビゲートできる視覚的インターフェースの設計。
• 抽象化されたゲーム状態上で学習されたモデルと評価関数を用いて、エージェントの推論プロセスを表す探索木を構築する。
• 構造的な可視化により、重要な推論ステップ（行動予測、葉ノードの価値推定、 prune 決定）を強調表示する。
• ヒューリスティクスを用いて、誤りが生じやすい可能性の高い意思決定ポイントを優先順位付けし、専門家が体系的なレビュー手順を実施できるように支援する。
• 人間が特定した誤りパターンに基づき、ドメイン特化のスクリプトを生成し、複数のゲームリプレイにわたって類似する誤りを自動検出する。
• AI専門家および開発者による、敗北ゲームエピソードからの意思決定木の分析を通じて、インターフェースの有効性を検証するケーススタディを実施。

実験結果

リサーチクエスチョン

• RQ1 全体のポリシーが良好に動作している場合でも、人間の専門家が探索木内の個々のステップを検査することで、計画ベースのRLエージェントの推論的誤りを効果的に特定できるか？
• RQ2 複雑な意思決定木における誤りの特定を支援するにあたり、説明インターフェースで最も効果的な設計要因は何か？
• RQ3 人間が特定した誤りパターンを、複数のゲームセッションにわたって一般化し、スクリプトを用いて自動検出できる範囲はどの程度か？
• RQ4 エージェントの内部モデルにおける誤り（例：誤った状態遷移や価値推定）は、木構造的推論にどのように現れ、検査によって特定できるか？
• RQ5 誤り特定のための最も有望な木の領域に専門家が的確に注目できるようにするには、どのような戦略が有効か？

主な発見

• AI専門家は、木構造的説明インターフェースを用いて、エージェントの意思決定プロセスにおける複数の非自明な推論的誤りを特定した。具体的には、基地の体力増加の誤判断が含まれる。
• チームは、6試合中4試合の敗北ゲームにおいて、エージェントが基地の体力が上昇すると誤って予測していたことを発見した。一部のケースでは10%以上の過大評価が見られた。
• 誤りはしばしば単純で一般的な用語で記述可能（例：基地の体力上昇の誤った予測）であり、これにより類似誤りを大規模に自動検出可能なスクリプトの作成が可能になった。
• 40%の意思決定ポイントで、敗北の直前までに健康状態の誤判断パターンが確認された。このスクリプトは6試合の敗北ゲームにわたって、健康状態の誤判断パターンを探索した。
• インターフェースにより、最終的な行動選択からは判明しなかった誤りを専門家が検出できた。これは、推論ステップのミクロレベル分析の価値を示している。
• 本研究では、人間の知見と構造的な木の検査、およびスクリプトベースの検証を組み合わせることで、RLエージェントにおける深刻な誤りを効率的に特定・優先順位付けできる可能性が示された。