[論文レビュー] AGIL: Learning Attention from Human for Visuomotor Tasks

Ruohan Zhang, Zhuode Liu+5 more|arXiv (Cornell University)|Jun 1, 2018

Visual Attention and Saliency Detection参考文献 29被引用数 6

ひとこと要約

本稿では、眼動追跡データから人的な視覚的注意をモデル化することで、視覚的運動模倣学習を向上させるAGILというフレームワークを提案する。眼動追跡予測ネットワークを訓練し、その出力をポリシー・ネットワークに注意誘導として統合することで、複数のAtariゲームにおいて、行動予測の正確性とゲーム成績が顕著に向上し、標準的な模倣学習に比べて最高で212.8%のスコア向上を達成した。

ABSTRACT

When intelligent agents learn visuomotor behaviors from human demonstrations, they may benefit from knowing where the human is allocating visual attention, which can be inferred from their gaze. A wealth of information regarding intelligent decision making is conveyed by human gaze allocation; hence, exploiting such information has the potential to improve the agents' performance. With this motivation, we propose the AGIL (Attention Guided Imitation Learning) framework. We collect high-quality human action and gaze data while playing Atari games in a carefully controlled experimental setting. Using these data, we first train a deep neural network that can predict human gaze positions and visual attention with high accuracy (the gaze network) and then train another network to predict human actions (the policy network). Incorporating the learned attention model from the gaze network into the policy network significantly improves the action prediction accuracy and task performance.

研究の動機と目的

• 視覚的運動タスクにおける模倣学習を、意思決定に重要な情報を含む人的な視覚的注意を組み込むことで向上させること。
• 視覚的認識の優先順位を反映するタスク指向の注意メカニズムとして、人的な眼動挙動をモデル化すること。
• 眼動追跡予測がポリシー学習を支援するフレームワークを構築し、エージェントが人間の教師の内部意思決定状態をよりよく推定できるようにすること。
• 注意誘導付き模倣学習が、標準的な行動クラーニングに比べてより高い正確性と成績を達成することを示すこと。
• 視覚的運動学習研究のための、人的な眼動追跡と行動ペアの公開可能なデータセットを提供すること。

提案手法

• Atariゲームでのプレイ中に高精度な眼動追跡器を用いて、高品質な人的な眼動追跡と行動データを収集する。
• 生のゲームフレームから人的な眼動追跡位置と視覚的注意を高精度に予測するための深層ニューラルネットワーク（眼動追跡ネットワーク）を訓練する。
• 眼動追跡ネットワークの出力から抽出した注意特徴を用いて、教師あり学習により人間の行動を予測するポリシー・ネットワークを訓練する。
• 眼動追跡位置に焦点を当てたフォーリエートド画像表現を生成し、人間のような視覚的認識を模倣し、ポリシー・ネットワークをガイドする。
• 眼動追跡ネットワークの注意マップをポリシー・ネットワークに空間的注意モジュールとして統合し、タスクに関連する視覚的特徴を強調する。
• 複数のAtariゲームにおいて、行動マッチングの正確性と最終スコアの両方を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 人的な眼動追跡データは、視覚的運動タスクにおけるタスク指向の視覚的注意を効果的にモデル化できるか？
• RQ2 学習された人的な注意モデルを組み込むことで、模倣学習エージェントの性能が向上するか？
• RQ3 行動予測の正確性とゲーム成績の観点から、注意誘導付き模倣学習は標準的な行動クラーニングに比べてどのように異なるか？
• RQ4 高次元の視覚状態における曖昧さ、例えば視覚的に同一のターゲットを区別する際、注意はどの程度役立つか？
• RQ5 エンドツーエンドの深層学習モデルは、認知的に要求の高いリアルタイムの視覚的運動タスクにおいて、人的な眼動追跡を正確に予測できるか？

主な発見

• AGILは、同じデータセットを用いた標準的な模倣学習に比べ、平均スコアで212.8%の向上を達成した。特にSeaquestでは、788.9点（標準的模倣学習：252.2点）の最高のスコア向上を記録した。
• 眼動追跡ネットワークは人的な眼動追跡を高い正確性で予測でき、生物学的に妥当なフォーリエートド画像を生成し、人間の視覚的認識を反映した。
• MsPacman や Seaquest のような、複数の視覚的に同一のターゲットが存在するゲームでは、注意誘導によりポリシー・ネットワークが眼動追跡に基づいて意図されたターゲットを正しく特定できた。これは、空間的不変性を持つ標準的な畳み込みネットワークでは不可能であった。
• 複数のタスク関連オブジェクトが存在する状況で、注意メカニズムが行動の曄 ambiguous を解消するのを助け、プレイヤーの左や上にある敵を区別するのを支援した。
• Centipede や Riverraid のようなゲームでは、2億サンプルで訓練された深層Qネットワーク（DQN）でさえも、AGILが上回った。これは、サンプル効率の向上を示している。
• フレームワークは、人的な視覚的注意をモデル化することで、特に複雑で多数のオブジェクトが存在する環境において、模倣学習が顕著に向上することを示した。