[論文レビュー] End-to-end Learning of Driving Models from Large-scale Video Datasets

Huazhe Xu, Yang Gao+2 more|arXiv (Cornell University)|Dec 4, 2016

Autonomous Vehicle Technology and Safety参考文献 27被引用数 38

ひとこと要約

本論文では、大規模なクラウドソーシングドライブレコーダー動画から一貫したドライビングポリシーを学習するエンドツーエンドのFCN-LSTMアーキテクチャを提案する。このモデルはモノクロナル画像と過去の状態から、マルチモーダルな未来の自己移動を予測する。セマンティックセグメンテーションをプライベートな補助タスクとして活用することで、保留済みのシーケンスにおけるドライバー行動の予測性能が著しく向上し、パープレキシティと正確性の両面でベースラインを上回った。

ABSTRACT

Robust perception-action models should be learned from training data with diverse visual appearances and realistic behaviors, yet current approaches to deep visuomotor policy learning have been generally limited to in-situ models learned from a single vehicle or a simulation environment. We advocate learning a generic vehicle motion model from large scale crowd-sourced video data, and develop an end-to-end trainable architecture for learning to predict a distribution over future vehicle egomotion from instantaneous monocular camera observations and previous vehicle state. Our model incorporates a novel FCN-LSTM architecture, which can be learned from large-scale crowd-sourced vehicle action data, and leverages available scene segmentation side tasks to improve performance under a privileged learning paradigm.

研究の動機と目的

• 特定の車両キャリブレーションに依存せずに、多様な走行状況に一般化可能なエンドツーエンドでトレーナブルなビジュオモーター政策を開発すること。
• シミュレーションや現地記録に代えて、大規模でキャリブレーションされていないクラウドソーシング動画データからの学習を可能にすること。
• セマンティックセグメンテーションをプライベートな学習信号として組み込むことで、エゴモーション予測性能を向上させること。
• 一般化ドライビングモデルのトレーニングに適した大規模かつ多様なドライビングデータセットを収集・公開すること。
• 多様な現実世界のシナリオにわたる保持済みシーケンスにおいて、未来のドライブ行動を予測するモデルの能力を評価すること。

提案手法

• モデルは、モノクロナル動画フレームと過去の車両状態を入力として、未来のエゴモーションの確率分布を予測する新しいFCN-LSTMアーキテクチャを採用する。
• マルチタスク学習フレームワークを用いて、ドライブ行動予測（モーション損失）とセマンティックセグメンテーション（補助タスク損失）を同時に最適化する。
• 事前学習済みの完全畳み込みネットワーク（FCN）からの特徴量とLSTMを統合し、ドライブシーケンス内の時間的依存性をモデル化する。
• トレーニング中にセグメンテーションマスクを補助的監視として使用するプライベート学習パラダイムを採用する。
• 等価な重み付けで、多様な走行状況からの1,000本の動画クリップから構成される収集済みデータセットでモデルをトレーニングする。
• 予測出力には、離散的な行動クラス（例：左折、進行）と連続的な方向確率マップの両方が含まれる。

実験結果

リサーチクエスチョン

• RQ1 特定の車両キャリブレーションに依存せず、シミュレーションや特定のキャリブレーションに依存しない大規模でキャリブレーションされていないクラウドソーシングドライブレコーダー動画から、一般化可能なドライビングポリシーを学習できるか？
• RQ2 プライベートな補助タスクとしてのセマンティックセグメンテーションを組み込むことで、エンドツーエンドのエゴモーション予測性能はどのように向上するか？
• RQ3 複雑な操作（例：マルチモーダルな左折、ストップアンドゴー行動）を含む多様な走行シナリオに、モデルは一般化可能か？
• RQ4 補助タスク（セグメンテーション）と同時に最適化することで、モーションのみの監視に比べて、より高速かつ正確に学習できるか？
• RQ5 多様な現実世界の条件下で、保持済みテストシーケンスにおける未来行動の予測性能はどの程度か？

主な発見

• プライベートトレーニング手法は、パープレキシティ0.697、離散的行動予測の正確性72.4％を達成し、モーションリフレックスアプローチ（パープレキシティ0.718、正確性71.31％）を上回った。
• 分離してセグメンテーションと行動予測をトレーニングするメディエイトドペルセプションアプローチは、パープレキシティ0.8887、正確性61.66％と劣っており、エンドツーエンドの共同学習の利点を裏付けた。
• モデルはマルチモーダルな行動（例：左折、進行）を適切に予測し、ターン完了後に単一モードに収束するなど、適切な行動モデリングを示した。
• 障害物や信号機がある状況では、視覚的手がかりが曖昧であっても、プライベートモデルは正しく停止行動を予測したが、ベースライン手法はそうではなかった。
• 危険な行動（例：歩道に近い右折）に対して確率をゼロに設定し、予測に空間的・文脈的認識を示した。
• セマンティックセグメンテーションを補助タスクとして統合することで、特にデータが少ない状況下でも一般化性能と収束速度が著しく向上した。