[論文レビュー] Training a network to attend like human drivers saves it from common but misleading loss functions

Ye Xia, Danqing Zhang+4 more|arXiv (Cornell University)|Nov 17, 2017

Visual Attention and Saliency Detection被引用数 8

ひとこと要約

本稿では、単眼ドライブレコーダ動画からドライバーの注目領域を予測する新規なFCN-ConvLSTMモデルを提案する。このモデルは、人間が注目する方法を学習することで、最先端技術(SOTA)を上回る性能を発揮する。本研究では、ドライビングデータでAlexNetを微調整すると、フレームの重要度が均一でないため、歩行者検出性能が低下するというパラドックスを特定し、注視データに基づく非一様なフレームサンプリングと適応的重みを導入することでこれを解決。これにより、学習効率と性能が向上する。

ABSTRACT

We proposed a novel FCN-ConvLSTM model to predict multi-focal human driver's attention merely from monocular dash camera videos. Our model has surpassed the state-of-the-art performance and demonstrated sophisticated behaviors such as watching out for a driver exiting from a parked car. In addition, we have demonstrated a surprising paradox: fine-tuning AlexNet on a largescale driving dataset degraded its ability to register pedestrians. This is due to the fact that the commonly practiced training paradigm has failed to reflect the different importance levels of the frames of the driving video datasets. As a solution, we propose to unequally sample the learning frames at appropriate probabilities and introduced a way of using human gaze to determine the sampling weights. We demonstrated the effectiveness of this proposal in human driver attention prediction, which we believe can also be generalized to other driving-related machine learning tasks.

研究の動機と目的

• 単眼ドライブレコーダ動画からドライバーの注目領域を正確に予測する深層学習モデルの開発。
• 標準的な学習法が歩行者検出などの重要なタスクの性能を低下させるというパラドックスに対処すること。
• ドライブ動画におけるフレームの重要度が一様ではないこと、すなわち訓練時に等価なサンプリングを仮定することが誤りであることを特定すること。
• フレームの相対的重要度を反映させるために、人間の注視データに基づく重み付けされたフレームサンプリング戦略を提案すること。
• このサンプリングアプローチを他のドライブ関連の機械学習タスクへ一般化し、性能向上を図ること。

提案手法

• 動画入力からの時空間的ダイナミクスをモデル化するため、FCN-ConvLSTMアーキテクチャを提案する。
• フレームの重要度を反映させるために、人間の注視データに基づいてサンプリング確率を決定する非一様なフレームサンプリング戦略を導入する。
• 人間の注視アノテーションを用いてサンプリング重みを計算し、注視密度が高いフレームを優先的にサンプリングする。
• これらの重み付きサンプルを用いてモデルを学習させ、歩行者が渡るなどの重要な視覚的イベントをよりよく捉えるようにする。
• フレームの相対的重要度を反映する損失関数を採用し、低注視フレームからの誤った信号の影響を低減する。
• 大規模なドライブデータセットを用いて手法を検証し、注目予測性能の向上と耐障害性の向上を示した。

実験結果

リサーチクエスチョン

• RQ1 大規模なドライブデータセットでAlexNetを微調整すると、なぜ歩行者検出能力が低下するのか？
• RQ2 ドライブ動画におけるフレームの重要度の不均一性が、標準的な学習パラダイムにどのように影響を与えるか？
• RQ3 人間の注視データを用いて、最適なフレームサンプリング確率を定義できるか？
• RQ4 注視に基づく非一様サンプリングは、一様サンプリングに比べて注目予測性能を向上させるか？
• RQ5 このサンプリング戦略は、他のドライブ関連の機械学習タスクへ一般化可能か？

主な発見

• 大規模なドライブデータセットでAlexNetを微調整した結果、歩行者検出性能が顕著に低下し、標準的な学習法に深刻な欠陥が存在することが判明した。
• 人間の注視データに基づく非一様なフレームサンプリング戦略により、一様サンプリングに比べて注目予測性能が顕著に向上した。
• モデルは駐車中の車両から出る車両を監視するなど、複雑なドライバー行動を的確に捉えることができ、高レベルの注目モデリングが可能であることを示した。
• 注視重み付きサンプリングアプローチにより、低注視フレームの影響が低減され、学習中の誤った信号の影響が最小限に抑えられた。
• 本手法は一般化可能性を示し、自律走行における他の視覚タスクへの応用可能性を示唆した。
• FCN-ConvLSTMモデルは、ベンチマークデータセットにおいて、人間ドライバーの注目予測で最先端の性能を達成した。