[論文レビュー] Towards Interpretable Reinforcement Learning Using Attention Augmented Agents

A. Mott, Daniel Zoran+3 more|arXiv (Cornell University)|Jun 6, 2019

Multimodal Machine Learning Applications被引用数 42

ひとこと要約

この論文は、 Atari向けのソフトな、トップダウンの注意に基づく強化学習エージェントを紹介します。意思決定をより解釈可能にするための明示的な注意ボトルネックを使用しつつ、競争力のあるパフォーマンスを達成します。

ABSTRACT

Inspired by recent work in attention models for image captioning and question answering, we present a soft attention model for the reinforcement learning domain. This model uses a soft, top-down attention mechanism to create a bottleneck in the agent, forcing it to focus on task-relevant information by sequentially querying its view of the environment. The output of the attention mechanism allows direct observation of the information used by the agent to select its actions, enabling easier interpretation of this model than of traditional models. We analyze different strategies that the agents learn and show that a handful of strategies arise repeatedly across different games. We also show that the model learns to query separately about space and content (`where' vs. `what'). We demonstrate that an agent using this mechanism can achieve performance competitive with state-of-the-art models on ATARI tasks while still being interpretable.

研究の動機と目的

• 解釈可能なRLを動機づける：エージェントの情報使用を公開する注意ボトルネックの導入。
• 視覚入力からタスクに関連する情報を選択的に取得するソフトな注意機構をトップダウンのクエリとともに開発。
• 注意マップが一貫した戦略を明らかにし、Atariタスクのパフォーマンスを維持しつつ新しい状態にも一般化できることを示す。

提案手法

• 視覚コア出力上に複数の注意ヘッドを生成するLSTMベースのクエリネットワークを用いたソフトな注意モデルを提案。
• 視覚コア出力をKeysとValuesに分割し、固定の空間基底を加えて、内積と空間ソフトマックスで注意を計算。
• attended Valuesを集約して、LSTMベースの方策と値推定パイプラインに供給する回答を生成。
• IMPALA風のアクター-ラーナーアーキテクチャとV-trace lossを用いたバックプロパゲーションでエンドツーエンドに訓練。
• 注意を用いないベースライン（FeedforwardベースとLSTMベース）と比較して、注意マップの性能向上と解釈可能性を評価。

実験結果

リサーチクエスチョン

• RQ1 トップダウンのソフトアテンション機構は、パフォーマンスを犠牲にせずに強化学習に解釈可能なボトルネックを提供できるか。
• RQ2 注意マップは意味のある、タスク関連の焦点（例：プレイヤー、敵、トリップワイヤ）を明らかにし、未見の状態への一般化を示すか。
• RQ3 提案された注意ヘッドは“what”と“where”の構成要素にどのように分離され、意思決定にどのように影響を与えるか。
• RQ4 トップダウンの注意を取り入れると、ボトムアップの顕著性分析と比べてエージェントの方策と価値推定の可視化・理解が改善されるか。

主な発見

• AttentionエージェントはATARIタスクで最先端ベースラインと競合する性能を達成（表1を参照）。
• 注意ヘッドはプレイヤー、敵、パワーアップ、スコアに焦点を当てるなど解釈可能なパターンを示し、いくつかのヘッドは前方計画/スキャニングを実行する。
• エージェントは新しい視覚配置（例：注入されたオブジェクト）へ一般化し、因果に応じて新情報に注意を向けるようになり、パターンを memorizationせず注視する。
• “what”と“where”のクエリの混在が顕著で、いくつかのヘッドは物体を追跡し、他のヘッドはトリガーや水平線スキャンとして機能する。
• ボトムアップ注意のバリアントと比較して、トップダウン注意は方策と価値の顕在性の整合性が高く、解釈性の利点を支持する。