[論文レビュー] Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents

Alexander Makrigiorgos, Ali Shafti+3 more|arXiv (Cornell University)|Sep 11, 2019

Visual Attention and Saliency Detection参考文献 33被引用数 10

ひとこと要約

本論文では、VRドライブシミュレータ内の眼動-trackingデータから人間の視覚的注目を予測する深層ニューラルネットワークを統合することで、エンドツーエンドの自律走行エージェントを強化する手法を提案する。生画像と注目マップを適用した画像の両方でエージェントを訓練する（特に二重ブランチアーキテクチャを用いることで）、標準モデルと比較して制御信号予測誤差を25.5%低減し、生物学的にインspiredされた注目メカニズムにより、学習速度と性能が向上することを示している。

ABSTRACT

Autonomous driving is a multi-task problem requiring a deep understanding of the visual environment. End-to-end autonomous systems have attracted increasing interest as a method of learning to drive without exhaustively programming behaviours for different driving scenarios. When humans drive, they rely on a finely tuned sensory system which enables them to quickly acquire the information they need while filtering unnecessary details. This ability to identify task-specific high-interest regions within an image could be beneficial to autonomous driving agents and machine learning systems in general. To create a system capable of imitating human gaze patterns and visual attention, we collect eye movement data from human drivers in a virtual reality environment. We use this data to train deep neural networks predicting where humans are most likely to look when driving. We then use the outputs of this trained network to selectively mask driving images using a variety of masking techniques. Finally, autonomous driving agents are trained using these masked images as input. Upon comparison, we found that a dual-branch architecture which processes both raw and attention-masked images substantially outperforms all other models, reducing error in control signal predictions by 25.5\% compared to a standard end-to-end model trained only on raw images.

研究の動機と目的

• ドライブ中に観察された人間の視覚的注目パターンを活用することで、エンドツーエンドの自律走行エージェントを改善すること。
• 学習された人間の注目予測が、走行エージェントの訓練効率と性能を向上させることを調査すること。
• 生画像、ソフトマスク、ハードマスク、二重ブランチの異なる注目統合戦略が走行ポリシー学習に与える影響を評価すること。
• 人間の眼動のパターンから導出されたサリエンシー・マップが、走行に不可欠なタスク関連視覚特徴を的確に捉えているかどうかを検証すること。
• 注目意識を持つエージェントが、その注目領域を透明かつ人間と整合させることで、解釈可能性の向上を達成できるかを検討すること。

提案手法

• HTC Viveを用いたSmi眼動トラッキングを備えたCARLAシミュレータのVR版で、243,000フレームのドライバーの眼動データを2.7時間分収集した。
• このデータを用いて、人間の視覚的サリエンシーを予測する深層ニューラルネットワークを訓練し、精度を向上させるために、ドライバーの意思決定を補助する監視を導入した。
• 訓練済みの注目ネットワークからサリエンシー・マップを生成し、三つのマスキング技術（ソフトブレンド、ハードアウト、生画像）を用いて走行画像に適用した。
• 共有バックボーンアーキテクチャを用いて、ベースライン（生画像）、ソフト（注目ブレンド）、ハード（注目マスク）、二重ブランチ（生画像＋マスク画像入力）の合計5種類の自律走行エージェントを設計・訓練した。
• 訓練エポック全体を通じて制御信号予測性能を評価する主指標として、平均絶対誤差（MAE）を用いた。
• 汎化性能と長期的性能向上を評価するため、未観測のテストエピソードでモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 VRドライブ環境における眼動トラッキングで捉えられた人間の視覚的注目は、深層学習を用いて正確に予測可能か？
• RQ2 予測された人間の注目パターンをエンドツーエンド走行エージェントの入力に組み込むことで、学習速度と最終的な性能が向上するか？
• RQ3 ソフトブレンド、ハードマスク、または二重ブランチ処理といった異なる注目統合戦略が、自律走行エージェントの性能に与える影響は何か？
• RQ4 注目マスク画像のみで訓練されたエージェントが、性能を維持できる程度は、予測されたサリエンシーの情報量にどの程度依存しているか？
• RQ5 注目意識を持つエージェントが、人間の視覚的優先順位と一致する注目領域を提示することで、より優れた解釈可能性を達成できるか？

主な発見

• 生画像と注目マップを適用した画像の両方を処理する二重ブランチエージェントは、生画像のみで訓練された標準的なエンドツーエンドモデルと比較して、制御信号予測の平均絶対誤差（MAE）を25.5%低減した。
• 二重ブランチエージェントは著しく高速に学習し、他のモデルが全訓練を終えた後でも、60,000ステップの訓練でより低いMAEを達成した。
• ソフトマスクエージェント（注目マップと生画像をブレンド）は、生画像エージェントと比較して性能向上がなく、わずかに劣っていたことから、注目統合のためのアーキテクチャ設計が極めて重要であることが示された。
• ハードマスクエージェント（注目マップの非マスク領域のみを用いた）は、生画像エージェントとほぼ同等の性能を維持しており、眼動トラッキングネットワークがタスクに不可欠な視覚的特徴を的確に特定していることを裏付けた。
• 二重ブランチアーキテクチャは、訓練速度と最終的性能の両面で他のすべてのモデルを上回り、明示的な注目ルーティングが学習効率を向上させることを実証した。
• 結果から、人間の眼動のパターンから導出されたサリエンシー・マップは、視覚的モータ制御に強力なデータ駆動型インダクティブバイアスとして機能でき、サンプル効率と解釈可能性の両方を向上させうることが示唆された。