[論文レビュー] Learning to predict where to look in interactive environments using deep recurrent q-learning

Sajad Mousavi, Michael Schukat+3 more|arXiv (Cornell University)|Dec 17, 2016

Visual Attention and Saliency Detection参考文献 25被引用数 26

ひとこと要約

本稿では、インタラクティブなAtari 2600ゲームにおいて、最適な制御行動と注目点を同時に学習できる、ソフトアテンション機構を統合した深層再帰的Qラーニングフレームワークを提案する。Deep Q-Network (DQN) にソフトアテンションを統合することで、人間の注目位置を予測する際、Itti-Koch や GBVS といったボトムアップのサリエンシー・モデルを著しく上回り、平均NSSとROCスコアはそれぞれ 0.74 と 0.70 を達成した。

ABSTRACT

Bottom-Up (BU) saliency models do not perform well in complex interactive environments where humans are actively engaged in tasks (e.g., sandwich making and playing the video games). In this paper, we leverage Reinforcement Learning (RL) to highlight task-relevant locations of input frames. We propose a soft attention mechanism combined with the Deep Q-Network (DQN) model to teach an RL agent how to play a game and where to look by focusing on the most pertinent parts of its visual input. Our evaluations on several Atari 2600 games show that the soft attention based model could predict fixation locations significantly better than bottom-up models such as Itti-Kochs saliency and Graph-Based Visual Saliency (GBVS) models.

研究の動機と目的

• タスク要件が注目に強く影響を与える複雑でインタラクティブな環境において、ボトムアップサリエンシー・モデルの限界を解消すること。
• ゲームプレイ最適化方策を同時に学習しつつ、どこに注目するかを学習する強化学習ベースの手法を開発すること。
• 深層Qネットワークアーキテクチャにソフトアテンションを統合することで、注目位置予測の精度を向上させること。
• 人間がアノテートした注目位置データを用いて、モデルの性能を確立されたボトムアップサリエンシー・モデルと比較して評価すること。

提案手法

• エージェントが意思決定中にタスク関連の視覚領域に注目できるように、Deep Q-Network (DQN) にソフトアテンション機構を統合する。
• アテンション機構により、微分可能で重み付けされた入力フレーム表現が生成され、方策勾配を用いたエンドツーエンド学習が可能になる。
• Atari 2600環境における学習の安定化を図るため、経験リプレイとターゲットネットワークを用いた深層Qラーニングでエージェントを訓練する。
• 共有された視覚エンコーダーを介して、行動選択（Qラーニング）と注目位置予測（ソフトアテンション）を同時に最適化する。
• 注目位置予測は、空間的アテンションマップから得られ、最大の活性化値が予測された注目点を示す。
• 人間のクリックデータ（ゲーム動画を視聴した被験者からのもの）を、注目位置予測性能の評価のための真値として用いる。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、インタラクティブなビデオゲーム環境において、人間と同様の注目位置を予測できるか？
• RQ2 DQNに統合されたソフトアテンション機構は、従来のボトムアップサリエンシー・モデルと比較して、注目位置予測をどのように改善するか？
• RQ3 タスクコンテキストや目的志向行動が、動的視覚環境における注目選択にどの程度影響を与えるか？
• RQ4 行動方策と注目位置の学習を同時に実行するモデルは、別々に注目を学習するモデルよりも性能が向上するか？

主な発見

• 提案されたソフトアテンションベースのDQNモデルは、5つのAtari 2600ゲームで平均ノーマライズドスキャンパスサリエンシー（NSS）スコアが 0.74、平均受検者受容特性曲線下積（AUC）が 0.70 を達成し、ボトムアップモデルを著しく上回った。
• Breakoutゲームでは、NSSが 1.326、AUCが 0.787 を達成し、GBVS（NSS: -0.074、AUC: 0.489）やItti-Koch（NSS: -0.112、AUC: 0.453）と比較して顕著に優れた性能を示した。
• Pong（NSS: 0.846、AUC: 0.76） や Enduro（NSS: 0.699、AUC: 0.689） といったゲームでも優れた性能を示し、多様なゲームのダイナミクスにわたる頑健性を示した。
• GBVS や Itti-Koch といったボトムアップモデルは劣悪な性能を示し、NSSスコアがゼロ未満で、AUC値が 0.5 に近いかそれ未満であったため、ほぼランダムな性能に近かった。
• モデルのアテンションマップは、人間の注目点とよく一致しており、視覚的比較により、青（予測）と赤（人間）の円がベースラインモデルよりも正確に重なっていることが示された。
• 結果から、インタラクティブで目的志向な環境における正確な注目位置予測には、強化学習によるタスク駆動のトップダウン的注目学習が不可欠であることが明らかになった。