[論文レビュー] Visuomotor Understanding for Representation Learning of Driving Scenes

Seokju Lee, Junsik Kim+5 more|arXiv (Cornell University)|Sep 16, 2019

Advanced Vision and Imaging参考文献 60被引用数 6

ひとこと要約

本論文は、単一フレームの画像と自己運動センサデータを統合して、将来のフレーム合成のための密度のある光流を予測する自己教師付き視覚運動表現学習フレームワークを提案する。時間反転対称性とセンサ拡張特徴学習を活用することで、セマンティックセグメンテーションにおいて最先端の性能を達成し、自己教師付きベースラインを上回り、ImageNet教師ありモデルに近い性能をドライブシーン理解タスクで示した。

ABSTRACT

Dashboard cameras capture a tremendous amount of driving scene video each day. These videos are purposefully coupled with vehicle sensing data, such as from the speedometer and inertial sensors, providing an additional sensing modality for free. In this work, we leverage the large-scale unlabeled yet naturally paired data for visual representation learning in the driving scenario. A representation is learned in an end-to-end self-supervised framework for predicting dense optical flow from a single frame with paired sensing data. We postulate that success on this task requires the network to learn semantic and geometric knowledge in the ego-centric view. For example, forecasting a future view to be seen from a moving vehicle requires an understanding of scene depth, scale, and movement of objects. We demonstrate that our learned representation can benefit other tasks that require detailed scene understanding and outperforms competing unsupervised representations on semantic segmentation.

研究の動機と目的

• ドライブシナリオにおけるシーン理解の向上を目的とした、視覚的および自己運動データを統合する自己教師付き視覚表現学習フレームワークの開発。
• モデルが単一の画像と運動センサデータから、将来のフレーム外観をシミュレートするように、密度のある光流を予測できるようにすること。
• 運動と視覚的知覚を結びつける視覚運動理解が、純粋に視覚的な自己教師付き学習よりも、より強固で意味的に明確な表現をもたらすかどうかの検証。
• 特に低教師信号設定におけるセマンティックセグメンテーションなどの下流タスクへの、学習済み表現の転移性を検証すること。

提案手法

• モデルは、単一のRGB画像とそれに該当する自己運動センサデータ（速度、加速度、角速度）を入力とする深層ニューラルネットワークを用いる。
• 運動センサデータは潜在空間に埋め込まれ、符号化された視覚特徴とconcatenatedされ、その後光流予測に用いられる。
• 予測された光流は、入力画像を時間的に前方に変形するために使用され、訓練損失は変形された画像と実際の次のフレームとのピクセル単位の差分として計算される。
• 時間反転対称性（T対称性）は、同じアーキテクチャを用いて未来と過去の両方のフレームを予測するようにモデルを訓練することで強制され、一般化性と正則化が向上する。
• フレームワークは、ダッシュボードカメラとモバイル慣性センサから収集された大規模な、自然にペアになった動画とセンサデータ上で、エンドツーエンドに自己教師付きで訓練される。
• 事前学習後、公開データセットを用いてセマンティックセグメンテーションの微調整を行い、転移性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己運動センサデータを視覚入力と統合することで、ドライブシーンの自己教師付き表現学習が向上するか？
• RQ2 運動の監視付きで単一フレームから密度のある光流を予測する方法が、純粋に視覚的な自己教師付き手法よりも優れたセマンティック理解をもたらすか？
• RQ3 時間反転対称性は、学習済み表現の安定性と一般化性にどのように寄与するか？
• RQ4 視覚運動表現が、自己教師付きおよび教師ありベースラインと比較して、セマンティックセグメンテーションなどの下流タスクへの転移性をどの程度向上させるか？

主な発見

• 提案手法は、AlexNet、VGG、ResNetアーキテクチャにおいて、ランダム初期化および既存の自己教師付き手法と比較して、セマンティックセグメンテーションで顕著な性能向上を達成した。
• CityscapesおよびKITTIデータセットにおいて、ImageNet事前学習モデルの性能に近く、強力な転移性を示した。
• 視覚的光度損失に依存する単一の光流予測手法とは異なり、本手法は局所的パターンマッチングに依存しないため、セマンティックシーン構造を捉えることができた。
• 深度ベースの表現（例：Depth+pose）と比較しても、本手法は特に物体境界部で優れた性能を示した。これはノイズが少なく、より安定した監視信号によるものである。
• アブレーションスタディにより、運動センサ統合と時間反転対称性の重要性が確認され、モデルの安定性と表現品質の向上に寄与した。
• センサデータは、低品質な入力に敏感な画像からのポーズ推定とは異なり、安定的で天候に左右されないモodalとして、強力な代替手段を提供した。