[論文レビュー] Machine versus Human Attention in Deep Reinforcement Learning Tasks

Sihang Guo, Ruohan Zhang+5 more|arXiv (Cornell University)|Oct 29, 2020

Neural dynamics and brain function被引用数 8

ひとこと要約

この論文は、DRLエージェントと人間エキスパートのアタリゲームプレイ中の視覚的注意を、DRLエージェントのsalienceマップと人間の眼球追跡データを分析することで比較している。最適なハイパーパrameterを用いた場合、DRLエージェントは人間と同様の注意パターンを学習することが判明し、性能差の要因として注意の不一致が関与していることが明らかになった。これにより、視覚的運動タスクにおけるエージェントの解釈可能性および人間とAIの整合性向上に向けた知見が得られた。

ABSTRACT

Deep reinforcement learning (RL) algorithms are powerful tools for solving visuomotor decision tasks. However, the trained models are often difficult to interpret, because they are represented as end-to-end deep neural networks. In this paper, we shed light on the inner workings of such trained models by analyzing the pixels that they attend to during task execution, and comparing them with the pixels attended to by humans executing the same tasks. To this end, we investigate the following two questions that, to the best of our knowledge, have not been previously studied. 1) How similar are the visual representations learned by RL agents and humans when performing the same task? and, 2) How do similarities and differences in these learned representations explain RL agents' performance on these tasks? Specifically, we compare the saliency maps of RL agents against visual attention models of human experts when learning to play Atari games. Further, we analyze how hyperparameters of the deep RL algorithm affect the learned representations and saliency maps of the trained agents. The insights provided have the potential to inform novel algorithms for closing the performance gap between human experts and RL agents.

研究の動機と目的

• 同じ視覚的運動タスクを遂行するDRLエージェントと人間が学習する視覚的表象の類似度を調査すること。
• 学習された注意の違いが、アタリゲームにおけるDRLエージェントのパフォーマンスに与える影響を理解すること。
• 人間エキスパートの注視データを基準として、DRLエージェントの意思決定の解釈可能性を評価・向上させること。
• 特に割引率とネットワークアーキテクチャを含むDRLハイパーパrameterが、人間エキスパートとの注視マップ類似度に与える影響を分析すること。
• エージェントが人間の注視パターンから逸脱する失敗事例について、視覚的および定量的診断を提供し、アルゴリズムの的確な改善を可能にすること。

提案手法

• アタリゲームプレイ中に眼動追跡装置を用いて人間の視覚的注意データを収集し、人間の注視行動をベンチマークとする。
• 勾配ベースの手法（例：Grad-CAM）を用いてDRLエージェントのsalienceマップを生成し、意思決定時にエージェントがどの画像ピクセルに注目しているかを可視化する。
• 空間相関係数（例：相関係数、AUC-PR）を用いて、DRLエージェントのsalienceマップと人間の注視分布を一致・比較する。
• 割引率や探索スケジュールを変化させたdueling DQNおよびRainbow DQNアーキテクチャを用いて、複数のアタリゲームでDRLエージェントを学習させる。
• ハイパーパrameterが注視マップ類似度とタスクパフォーマンスに与える影響を評価するためのアブレーションスタディを実施する。
• エージェントの注視が人間と著しく異なる、未確認または困難なゲーム状態に対して、失敗分析を実施し、劣悪な意思決定の原因を特定する。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントと人間エキスパートがアタリゲームプレイ中に注目する視覚的特徴はどれほど類似しているか？
• RQ2 エージェントと人間の注視マップの違いが、視覚的運動タスクにおけるパフォーマンス差をどの程度説明できるか？
• RQ3 DRLハイパーパrameter、特に割引率が、エージェントと人間の注視パターン類似度に与える影響は何か？
• RQ4 どのゲーム状態やシナリオでDRLエージェントが人間エキスパートと著しく異なる注視パターンを示し、その乖離がエージェントの失敗をどのように示しているか？
• RQ5 人間の注視データは、より人間らしく、より強固な視覚的表象を学習させるための、信頼できる監視信号として機能できるか？

主な発見

• 最適なハイパーパラメータで学習されたDRLエージェントは、物体追跡や空間的推論を要するタスクにおいて、人間の視覚的注意と顕著に相関する注視マップを学習する。
• エージェントと人間の注視の相関は学習時間とともに増加し、約5120k学習ステップでピークに達する。これは人間の知覚に次第に近づく傾向があることを示している。
• 高い割引率を用いたエージェントは、人間エキスパートの注視マップとより類似した注視マップを発展させる傾向にあり、これはより長い計画ホライズンが知覚的整合性を向上させる可能性を示唆している。
• 人間エキスパートはDRLエージェントよりも、はるかに少ないが、よりタスクに関連する領域に注目している。一方、DRLエージェントは広範囲や関連性の低い領域に注目する傾向にあり、現在のエージェントには過剰な注視問題が存在する可能性がある。
• エージェントの注視が人間と著しく異なる失敗事例は、通常、複雑またはレアなゲーム状態で発生しており、エージェントが長距離依存性や曖昧な視覚的手がかりを処理できていない可能性を示している。
• 本研究では、人間の注視データが、特に分布外またはレアなシナリオにおいて、DRLエージェントの解釈可能性および強度の向上を評価・促進する強力な基準として機能できることを示した。