[論文レビュー] See, Attend and Brake: An Attention-based Saliency Map Prediction Model for End-to-End Driving

Ekrem Aksoy, Ahmet Yazıcı+1 more|arXiv (Cornell University)|Feb 24, 2020

Visual Attention and Saliency Detection参考文献 37被引用数 10

ひとこと要約

本論文は、視覚的注意とブレーキング意思決定を統合するエンドツーエンドの注目度マップ予測モデルを、自動運転の文脈で提案している。VGG-16とConvLSTMベースのドライバー注意モジュールを用い、学習可能なRBF事前分布を組み合わせることで、ブレーキング意思決定を支援する注目度マップを予測する。BDD-AではAUC=0.540を達成し、ガウス事前分布がドライブデータセットで失敗したにもかかわらず、ベースラインモデルを上回る性能を示した。

ABSTRACT

Visual perception is the most critical input for driving decisions. In this study, our aim is to understand relationship between saliency and driving decisions. We present a novel attention-based saliency map prediction model for making braking decisions This approach constructs a holistic model to the driving task and can be extended for other driving decisions like steering and acceleration. The proposed model is a deep neural network model that feeds extracted features from input image to a recurrent neural network with an attention mechanism. Then predicted saliency map is used to make braking decision. We trained and evaluated using driving attention dataset BDD-A, and saliency dataset CAT2000.

研究の動機と目的

• ドライバー固有の視覚的注目度を、ドライブタスクに特化した注目メカニズムを用いてモデル化すること。
• 注目度マップの予測と実際の運転意思決定（特にブレーキング）との関係を調査すること。
• 注目度予測を意思決定に直接統合する包括的な認知フレームワークを構築し、タスク特化型コンponentsへの依存を減らすこと。
• ドライブ文脈における中心偏り事前分布（ガウス分布と学習可能なRBF）の有効性を評価すること。
• 静的画像にとどまらない、順序的でタスク指向のドライブ動画データに対する注目度予測モデルの拡張を図ること。

提案手法

• 入力画像からの空間的特徴を抽出するために、拡張畳み込みを用いたVGG-16バックボーンを採用する。
• 時系列特徴を処理するためのConvLSTMベースの再帰的ネットワークを用い、各タイムステップでLSTM隠れ状態に注目メカニズムを適用する。
• 注目メカニズムは、ドライブ状況に応じて関連する空間領域を動的に重み付けし、車両、歩行者、信号機などの注目対象オブジェクトに焦点を当てる。
• 学習可能な中心偏り事前分布として、径路基底関数（RBF）を用い、トレーニング中にエンドツーエンドで最適化する。
• 意思決定モジュールは、予測された注目度マップを用いてブレーキング行動を分類し、新たに拡張されたBDD-Aデータセット上でAUCを評価する。
• 注目度マップの正確性を最適化するために、相関係数（CC）とカルバック・ライブラー（KL）ダイバージェンスの両方の損失関数を用いてトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 静的画像ではなく、ドライブ動画シーケンスに特化して訓練された注目度予測モデルは、どのように性能を示すか？
• RQ2 ドライブ固有の注目度予測タスクにおいて、学習可能なRBF事前分布は標準的なガウス事前分布を上回るか？
• RQ3 実際のドライブシナリオにおけるブレーキング行動と、注目度マップの予測は相関するか？
• RQ4 CAT2000で良好に機能するガウス中心偏り事前分布が、BDD-Aドライブデータセットではなぜ失敗するのか？
• RQ5 統合的な注目度予測モデルは、ブレーキング、ステアリング、加速といったエンドツーエンドの運転意思決定を効果的に支援できるか？

主な発見

• 提案モデルは、BDD-Aデータセットにおいて、KLダイバージェンス（0.4607 vs. 1.24）の観点でベースラインDAME-2モデルを上回り、注目度マップの正確性が向上した。
• 32成分のRBFベース事前分布が、BDD-Aで最も優れた注目度予測性能を示し、ガウス事前分布および事前分布なしのベースラインを上回った。
• ガウス中心偏り事前分布はBDD-Aで著しく失敗したが、これはデータセットの注目度分布が中心に偏っていないこと（CAT2000とは異なり）が主な要因と考えられる。
• 注目度マップに基づくブレーキング意思決定モデルは、拡張済みBDD-AデータセットでAUC=0.540を達成し、実際のブレーキングイベントとわずかではあるが意味のある相関を示した。
• 中心偏り事前分布を備えないモデルですら、ガウス事前分布を備えたモデルを上回った。これは、事前分布の設計がデータ分布に適合する必要があることを示唆している。
• 本モデルは、動画シーケンスにおけるLSTM出力に注目メカニズムを効果的に適用できることを示し、標準ベースラインを上回る注目度予測性能を達成した。