[論文レビュー] Inherently Explainable Reinforcement Learning in Natural Language

Xiangyu Peng, Mark Riedl+1 more|arXiv (Cornell University)|Dec 16, 2021

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

本稿では、テキストベースのゲーム向けに、シンボリックな知識グラフ（KG）と階層的グラフアテンションを用いて、即時の段階的自然言語説明と、時間的に延長された後向きの説明を生成する、本質的に説明可能な強化学習エージェントであるHEX-RLを紹介する。エージェントは、環境に不慣れな人間の評価者による評価において、説明の質が顕著に優れている一方で、タスクパフォーマンスにおいても最先端の水準を達成している。

ABSTRACT

We focus on the task of creating a reinforcement learning agent that is inherently explainable -- with the ability to produce immediate local explanations by thinking out loud while performing a task and analyzing entire trajectories post-hoc to produce causal explanations. This Hierarchically Explainable Reinforcement Learning agent (HEX-RL), operates in Interactive Fictions, text-based game environments in which an agent perceives and acts upon the world using textual natural language. These games are usually structured as puzzles or quests with long-term dependencies in which an agent must complete a sequence of actions to succeed -- providing ideal environments in which to test an agent's ability to explain its actions. Our agent is designed to treat explainability as a first-class citizen, using an extracted symbolic knowledge graph-based state representation coupled with a Hierarchical Graph Attention mechanism that points to the facts in the internal graph representation that most influenced the choice of actions. Experiments show that this agent provides significantly improved explanations over strong baselines, as rated by human participants generally unfamiliar with the environment, while also matching state-of-the-art task performance.

研究の動機と目的

• 即時の段階的自然言語説明と、タスク実行後の時間的に延長された説明を生成できる、本質的に説明可能な強化学習エージェントの開発。
• テキストベースのゲームのような部分観測可能な環境における、長時間スパンの意思決定を説明する課題への対処。
• シンボリックな知識グラフ状態表現とディープ強化学習を統合し、人間が理解可能な推論と説明生成を可能にする。
• ドメインに不慣れなドメイン専門家による人間のアノテーターを用いて説明の質を評価し、説明が直感的で信頼できるものであることを保証する。
• 強力なベースラインと比較して、説明の質を顕著に向上させつつ、最先端のタスクパフォーマンスを維持すること。

提案手法

• エージェントは、探索に伴って更新される動的でシンボリックな知識グラフ（KG）を維持し、世界状態（オブジェクト、場所、プレイヤーのインベントリ、関係性など）を符号化する。
• 行動選択に最も影響を与えるサブグラフを特定するために、KGに階層的グラフアテンション機構を適用し、即時の局所的説明を可能にする。
• 時間的に延長された説明のため、エージェントは後向きのトラジェクトリ解析を実行し、長期的依存関係を満たすために重要な中間状態や行動を同定する。
• KGは、異なる意味的サブグラフ（例：部屋内のオブジェクト、プレイヤーのインベントリ、場所）に焦点を当てる階層的アテンションヘッドを備えたグラフアテンションネットワーク（GAT）で符号化される。
• 行動選択の根拠をKGからの具体的な事実に根拠づけ、アテンション重みを用いて関連する証拠を強調することで説明を生成する。
• フレームワークは、zork1などのインタラクティブ・フィクション環境で評価され、エージェントと環境の相互作用にはJerichoフレームワークが使用される。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、人間にとって正確で解釈可能な即時の段階的自然言語説明を生成できるか？
• RQ2 同じエージェントは、タスク完了に不可欠な長期的依存関係を捉えた時間的に延長された説明を生成できるか？
• RQ3 シンボリックな知識グラフと階層的アテンションを統合することで、ブラックボックス型アテンション機構と比較して説明の質が向上するか？
• RQ4 本質的に説明可能なこのようなエージェントは、複雑なテキストベースのゲーム環境でも最先端のパフォーマンスを維持できるか？
• RQ5 人間の評価者は、このエージェントの説明を、強力なベースラインの説明よりも顕著に理解しやすいと評価するか？

主な発見

• ゲーム環境に不慣れな参加者が、HEX-RLが生成する説明を、強力なベースラインの説明よりも顕著に理解しやすいと評価した。
• エージェントはzork1のようなテキストベースのゲームで最先端のタスクパフォーマンスを達成し、先行する知識グラフベースのエージェントと同等またはそれを上回った。
• 階層的グラフアテンション機構は、行動選択に影響を与える関連するサブグラフを的確に同定でき、正確で局所的な説明を可能にした。
• 後向きのトラジェクトリ解析により、重要な中間ステップを要約した時間的に延長された説明が生成され、例として後で使用するためのランプの早期取得といった依存関係が明確にされた。
• 内部状態表現として、人間が読めるシンボリックなKGを使用したことで、正確で解釈可能な説明生成が可能になり、同時にポリシーのパフォーマンスに悪影響を与えることなく実現された。
• 評価結果から、説明可能性がエージェントのアーキテクチャの初期段階から組み込まれており、後から追加される層ではなく、より信頼性が高く信頼できる説明が得られることを示した。