[論文レビュー] DRLViz: Understanding Decisions and Memory in Deep Reinforcement Learning

Théo Jaunet, Romain Vuillemot+1 more|arXiv (Cornell University)|Sep 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 68被引用数 36

ひとこと要約

DRLViz は、DRLエージェントの内部メモリを、メモリのタイムライン、アクション、入力、および派生指標を可視化して解釈するビジュアルアナリティクスのインターフェースで、ViZDoom のナビゲーションタスクにおけるメモリ削減と専門家による問い合せを可能にします。

ABSTRACT

We present DRLViz, a visual analytics interface to interpret the internal memory of an agent (e.g. a robot) trained using deep reinforcement learning. This memory is composed of large temporal vectors updated when the agent moves in an environment and is not trivial to understand due to the number of dimensions, dependencies to past vectors, spatial/temporal correlations, and co-correlation between dimensions. It is often referred to as a black box as only inputs (images) and outputs (actions) are intelligible for humans. Using DRLViz, experts are assisted to interpret decisions using memory reduction interactions, and to investigate the role of parts of the memory when errors have been made (e.g. wrong direction). We report on DRLViz applied in the context of video games simulators (ViZDoom) for a navigation scenario with item gathering tasks. We also report on experts evaluation using DRLViz, and applicability of DRLViz to other scenarios and navigation problems beyond simulation games, as well as its contribution to black box models interpretability and explainability in the field of visual analytics.

研究の動機と目的

• DRL エージェントの内部メモリを説明し、解釈性と事後分析を支援する。
• 意思決定分析のためにメモリを閲覧、フィルタ、削減する対話式ビジュアライゼーションを提供する。
• 時間と空間を通じてメモリのダイナミクスをエージェントの決定、入力、派生指標に結びつける。
• ドメインの専門家とともにアプローチを検証し、シミュレーション以外のナビゲーションタスクへの適用性を評価する。

提案手法

• RGB入力を用い、A2CベースのDRLモデルと128次元のGRUメモリを使用します。
• 時間 t の間に隠れ状態 h_t を記録してメモリマトリクスを構築し、2Dヒートマップのメモリタイムラインを形成します。
• メモリタイムライン、2D 軌跡マップ、時刻の t-SNE、派生指標など、複数の連携ビジュアライゼーションを公開して、メモリと決定の関連を明らかにします。
• 活性化、変化、安定、類似といった再配置基準によるメモリ削減技術と、メモリ区間の選択によって提供します。
• シミュレータデータから導出されるメモリとの文脈的一致性のための派生指標（例：FoV内のヘルス、FoV内のアイテム、姿勢の変化、決定の曖昧さ）を定義します。
• エピソードベースのJSONデータ（画像、アクション確率、メモリベクトルなど）を出力するデータパイプラインと、可視化のための Flask+D3 フロントエンドを実装します。

実験結果

リサーチクエスチョン

• RQ1 専門家は、DRLエージェントの潜在的なメモリとその決定との関係をどのように解釈できるか？
• RQ2 DRLViz は、時空を超えて特定の決定に影響を与えるメモリ要素を特定するのに役立つか？
• RQ3 対話的なフィルタリングと並べ替えによるメモリ削減は、解釈性を損なうことなく意味のあるパターンを明らかにするか？
• RQ4 派生指標（例：FoV内のアイテム、姿勢の変化）とメモリアクティベーションまたは決定との間にどのような関係が現れるか？

主な発見

• 専門家は、メモリタイムラインとアクションビューを用いて、エージェントが反復的なターンや行き止まりを示した特定の区間を識別できた。
• 隠れ状態の次元が、見られたアイテムの連続（例：赤と緑のアーマー）と相関し、後のステップにも活動的であることが観察された。
• ユーザーは、ヘルスパックを初めて見たときに活性化し、取得まで活動を続けたメモリ要素を検討した。
• サリエンシーマップは、エージェントが無視した入力を専門家が理解するのに役立った（例：soul-sphere は 重要アイテムが揃うまで）。
• t-SNE クラスターは、目的に沿ったグルーピングを明らかにし（例：緑のアーマーを集める戦略など）、隠れ状態空間に意味のある構造を示した。
• 全体として、DRLViz は DRLメモリの解釈の可能性を示し、ViZDoomを超える他のシナリオへの適用可能性を示唆した。