[論文レビュー] Policy Pre-training for Autonomous Driving via Self-supervised Geometric Modeling

Penghao Wu, Li Chen+4 more|arXiv (Cornell University)|Jan 3, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

この論文では、非キャリブレーション済みのYouTubeドライブ動画から3次元シーンの幾何的モデリングを活用して、ロバストなドライブポリシー表現を学ぶ、完全自己教師あり事前学習フレームワークPPGeoを提案する。2段階のプロセスで同時にポーズと深度を予測し、単一フレームの観測からの将来の自己移動予測を最適化することで、最小限のラベル付きデータを用いても、下流のビジュオモーター課題で2%から100%以上の向上を達成し、最先端の性能を実現した。

ABSTRACT

Witnessing the impressive achievements of pre-training techniques on large-scale data in the field of computer vision and natural language processing, we wonder whether this idea could be adapted in a grab-and-go spirit, and mitigate the sample inefficiency problem for visuomotor driving. Given the highly dynamic and variant nature of the input, the visuomotor driving task inherently lacks view and translation invariance, and the visual input contains massive irrelevant information for decision making, resulting in predominant pre-training approaches from general vision less suitable for the autonomous driving task. To this end, we propose PPGeo (Policy Pre-training via Geometric modeling), an intuitive and straightforward fully self-supervised framework curated for the policy pretraining in visuomotor driving. We aim at learning policy representations as a powerful abstraction by modeling 3D geometric scenes on large-scale unlabeled and uncalibrated YouTube driving videos. The proposed PPGeo is performed in two stages to support effective self-supervised training. In the first stage, the geometric modeling framework generates pose and depth predictions simultaneously, with two consecutive frames as input. In the second stage, the visual encoder learns driving policy representation by predicting the future ego-motion and optimizing with the photometric error based on current visual observation only. As such, the pre-trained visual encoder is equipped with rich driving policy related representations and thereby competent for multiple visuomotor driving tasks. Extensive experiments covering a wide span of challenging scenarios have demonstrated the superiority of our proposed approach, where improvements range from 2% to even over 100% with very limited data.

研究の動機と目的

• エンドツーエンドの自律走行のためのビジュオモーター政策学習におけるデータ収集の非効率性問題を、大規模なラベルなしデータ上で視覚表現を事前学習することで解決すること。
• 視覚的変換や平行移動不変性をデータ拡張に依存する一般的な事前学習手法（例：ImageNet、対照的学習）の限界を克服すること。これらの手法は、動的で複雑なシーンにおいては不適切である。
• モデルが幾何的関係性や意思決定に重要な視覚的手がかり（例：信号機）に注目するようにするドライブに特化した事前学習パラダイムを構築すること。背景や不要な干渉要因を抑制する。
• 自己教師あり幾何的再構成を通じてポリシー関連の表現を学習することで、下流のビジュオモーター走行タスクへの効果的な転移を可能にすること。
• 疑似ラベル付け手法（例：ACO、SelfD）に依存するのを避ける完全自己教師ありの代替手法を提供すること。これにより、誤った逆動力学モデルやターゲットドメインのラベル付けに依存するリスクを回避できる。

提案手法

• 2段階の事前学習パイプラインを用いる：最初の段階では、キャリブレーションなしに2つの連続フレームから相対的なポーズと深度を予測する幾何的モデリングネットワークを活用する。
• 2番目の段階では、視覚エンコーダーが単一の現在フレームからの未来の自己移動を予測することで、ドライブポリシー表現を学習する。この際、光度的一致性損失を用いる。
• 自己教師あり幾何的再構成を事前学習の目的関数として活用し、運転意思決定に不可欠な空間的・時間的関係性を学習することに焦点を当てる。
• 視覚エンコーダーを、幾何的監視（ポーズと深度）とポリシーに配慮した監視（将来の自己移動予測）の両方を組み合わせて、ラベルなしYouTubeドライブ動画を用いてエンドツーエンドで訓練する。
• 現在フレームの観測のみに基づく光度誤差を最適化することで、推論時に将来フレームの監視を必要とせずに、ドライブ関連の特徴を学習できるようにする。
• 大規模で、整理されていない、非キャリブレーション済みのYouTubeドライブ動画を用いてモデルを事前学習することで、ドメインカバレッジの広さと、照明、天候、シーンの複雑さの変動に対する耐性を確保する。

実験結果

リサーチクエスチョン

• RQ1 幾何的モデリングに基づく完全自己教師あり事前学習フレームワークは、一般的な事前学習手法と比較して、ビジュオモーター自律走行におけるデータ収集の非効率性を改善できるか？
• RQ2 3次元幾何的再構成を通じてドライブポリシー表現を学習することは、対照的学習やマスキング画像モデリング手法と比較して、下流の走行タスクでの一般化性能を向上させるか？
• RQ3 自己教師あり幾何的事前学習は、エンドツーエンドの自律走行ポリシー学習において、大規模なラベル付きデータセットへの依存度をどの程度低減できるか？
• RQ4 PPGeoの2段階トレーニングパイプライン（まずポーズと深度を学習し、次に将来の自己移動を予測）は、意思決定に必要な視覚パターンをモデルがどのようによりよく捉えるか？
• RQ5 事前学習済みの視覚エンコーダーは、微調整なしに、劣悪な照明や悪天候などの困難な状況を含む多様な走行シナリオに一般化できるか？

主な発見

• PPGeoは、非常に限られたラベル付きデータで微調整した場合、複数の下流ビジュオモーター走行タスクで2%から100%以上の性能向上を達成した。
• ImageNet、対照的学習、マスキング画像モデリングなどの類似事前学習手法と比較して、ベンチマーク走行タスクで優れた性能を示し、優れたデータ収集効率を実証した。
• 事前学習済みの視覚エンコーダーは、信号機のような意思決定に重要な視覚的手がかりに注目する一方で、遠くの建物や静止した障害物のような不要な背景要因を抑制する能力を学習した。
• 2段階の事前学習パイプラインにより、明示的な将来フレームの監視がなくても、単一フレーム入力からの自己移動と幾何的構造のロバストな表現を学習できるようになった。
• 事前学習済みの幾何的モデリングネットワークの副次的利点として、深度推定とオドメトリの性能が向上し、ポリシー学習を超えた幅広い応用可能性を示した。
• PPGeoは疑似ラベル付けや逆動力学モデルに依存しないため、ACO や SelfD といった手法と比較して、よりロバストでスケーラブルである。