[論文レビュー] ProtoX: Explaining a Reinforcement Learning Agent via Prototyping

Ronilo J. Ragodos, Tong Wang+2 more|arXiv (Cornell University)|Nov 6, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

ProtoX は、視覚的類似性とシナリオ類似性を用いて、行動パターン（プロトタイプ）を特定することで、ブラックボックス強化学習エージェントの行動を後から説明するプロトタイプベースの後処理説明手法である。視覚的類似性には自己教師付き対照的学習を、文脈的シナリオ類似性には等長層を用い、エキスパート方策に高い忠実性を保ちつつ、行動パターンに基づいて解釈可能で人間が理解可能な説明を提供する。

ABSTRACT

While deep reinforcement learning has proven to be successful in solving control tasks, the "black-box" nature of an agent has received increasing concerns. We propose a prototype-based post-hoc policy explainer, ProtoX, that explains a blackbox agent by prototyping the agent's behaviors into scenarios, each represented by a prototypical state. When learning prototypes, ProtoX considers both visual similarity and scenario similarity. The latter is unique to the reinforcement learning context, since it explains why the same action is taken in visually different states. To teach ProtoX about visual similarity, we pre-train an encoder using contrastive learning via self-supervised learning to recognize states as similar if they occur close together in time and receive the same action from the black-box agent. We then add an isometry layer to allow ProtoX to adapt scenario similarity to the downstream task. ProtoX is trained via imitation learning using behavior cloning, and thus requires no access to the environment or agent. In addition to explanation fidelity, we design different prototype shaping terms in the objective function to encourage better interpretability. We conduct various experiments to test ProtoX. Results show that ProtoX achieved high fidelity to the original black-box agent while providing meaningful and understandable explanations.

研究の動機と目的

• 構造のない観測空間（画像やテキストなど）におけるブラックボックス深層強化学習エージェントの解釈可能性の課題に対処すること。
• 特定の状態においてエージェントがなぜその行動を取ったのかを人間が理解できる洞察を提供する後処理説明手法を開発すること。
• アテンションマップや意思決定木の限界を克服し、視覚的に多様だが文脈的に類似した状態に共通する顕著な行動パターンを表すプロトタイプを用いること。
• 自己教師付き対照的学習による視覚的類似性と等長層によるシナリオ類似性を統合的にモデル化することで、より強固で意味のある説明を実現すること。
• エージェントの方策や環境へのアクセスを一切必要とせず、単にデモンストレーション軌道のみを用いて、説明の忠実性と解釈可能性を実現すること。

提案手法

• エキスパートデモンストレーション軌道上で時間的対照的損失を用いて畳み込みエンコーダーを事前学習し、時間的近接性と共通する行動に基づく視覚的類似性を学習する。
• 対照的学習を用いたシアン・ネットワークアーキテクチャを採用し、埋め込み空間内で視覚的に類似した状態をクラスタリングする。
• 行動クラーニングの過程で等長層を導入し、特徴空間をシナリオ類似性を捉えるように変換することで、視覚的に異なる状態が同じ背後にある意図を持つことを認識できるようにする。
• エキスパート軌道上でアシスト学習（行動クラーニング）によりProtoXを訓練し、解釈性を向上させるとともに冗長性を低減するためのプロトタイプ形状項を含む損失関数を用いる。
• 入力状態とプロトタイプ間の類似度の重み付き和として行動証拠を計算し、重みは特定の行動をどの程度プロトタイプが支持しているかを示す（行動の関連性を反映）。
• パッチマスキングを用いて重要度マップを生成し、類似性に最も寄与する視覚的領域を強調することで、エージェント行動の診断を支援する。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースの手法は、画像のような構造のない観測空間におけるブラックボックスDRLエージェントを効果的に説明できるか？
• RQ2 視覚的類似性とシナリオ類似性をどのように統合的にモデル化することで、説明の忠実性と解釈可能性を向上させられるか？
• RQ3 エキスパートデモンストレーション上で自己教師付き事前学習を実施することで、方策説明器の学習に環境へのアクセスを代替できるか、その程度はどの程度か？
• RQ4 ProtoX は、敵を避けるためにジャンプしないというような、エージェントの不適切な行動を、一致しないプロトタイプを特定することで検出・説明できるか？
• RQ5 アテンションベースや木ベースの説明手法と比較して、プロトタイプ表現は人間の解釈可能性と忠実度においてどのように異なるか？

主な発見

• ProtoX は、ネットワークアーキテクチャが類似する強力なベースラインであるVIPER や GAIfO を上回るか同等の高忠実度を達成した。
• モデルは、スーパーマリオブラザーズ や シークエスト における複雑な行動を、パイプを飛び越える、グーモワを避ける、敵の出現を予測するといったプロトタイプ的シナリオを特定することで正しく説明できた。
• 悪いエージェントがジャンプしなかった理由は、スカイカラーの類似性に依存していたことが判明し、重要度マップは唯一空が顕著であることを示しており、誤った推論パターンを特定した。
• 一方、良いエージェントで学習したProtoXは、敵を倒すためにブロックを壊す戦略的要素を正しく識別し、重要度マップはマリオの位置と行動の文脈を強調していた。
• 等長層の追加により、シナリオ類似性のモデル化が顕著に向上し、視覚的に異なる状態が同じ行動的意図を表していることを認識できるようになった。
• 目的関数に組み込まれたプロトタイプ形状項により、冗長性が低減され、解釈性が向上し、より簡潔で意味のある行動プロトタイプの集合が得られた。