[論文レビュー] Real-to-Virtual Domain Unification for End-to-End Autonomous Driving

Luona Yang, Xiaodan Liang+2 more|arXiv (Cornell University)|Jan 10, 2018

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、実世界のドライブ画像を条件付きGANを用いて簡素化された仮想ドメインに変換するドメイン統合フレームワーク、DU-driveを提案する。この手法により、一般化性能と性能が向上するエンドツーエンド自動運転が実現される。多様な実データセットを統一された仮想空間に変換することで、ドメインシフトを低減し、入力表現を最小十分統計量に近づけ、無制限の合成データを活用する。少量のラベル付きデータで複数のベンチマークで最先端の性能を達成する。

ABSTRACT

In the spectrum of vision-based autonomous driving, vanilla end-to-end models are not interpretable and suboptimal in performance, while mediated perception models require additional intermediate representations such as segmentation masks or detection bounding boxes, whose annotation can be prohibitively expensive as we move to a larger scale. More critically, all prior works fail to deal with the notorious domain shift if we were to merge data collected from different sources, which greatly hinders the model generalization ability. In this work, we address the above limitations by taking advantage of virtual data collected from driving simulators, and present DU-drive, an unsupervised real-to-virtual domain unification framework for end-to-end autonomous driving. It first transforms real driving data to its less complex counterpart in the virtual domain and then predicts vehicle control commands from the generated virtual image. Our framework has three unique advantages: 1) it maps driving data collected from a variety of source distributions into a unified domain, effectively eliminating domain shift; 2) the learned virtual representation is simpler than the input real image and closer in form to the "minimum sufficient statistic" for the prediction task, which relieves the burden of the compression phase while optimizing the information bottleneck tradeoff and leads to superior prediction performance; 3) it takes advantage of annotated virtual data which is unlimited and free to obtain. Extensive experiments on two public driving datasets and two driving simulators demonstrate the performance superiority and interpretive capability of DU-drive.

研究の動機と目的

• エンドツーエンド自動運転におけるモデルの一般化を妨げる、多様な実世界ドライブデータセット間のドメインシフトを解消すること。
• シンプルなエンドツーエンドモデル（解釈性の欠如）および中間的認識モデル（高コストなアノテーション）の限界を克服すること。
• より良い情報ボトルネック最適化と予測性能の向上を図るため、入力表現を最小十分統計量に近づけること。
• すべての実データを共通の仮想ドメインにマッピングすることで、データセット間の知識移行を可能にすること。

提案手法

• 条件付き生成対抗ネットワーク（cGAN）を訓練し、実ドライブ画像を簡素化された、より複雑性の低い仮想ドメイン表現に変換する。
• 仮想ドメイン表現は、走行に重要な手がかり（例：レーンマーク）を保持しつつ、不要な詳細（例：影、遠くの風景）を除去するように設計されている。
• 画像変換と制御予測の分離により、新しい実データセットに対して生成器を独立して訓練でき、複数ドメインにまたがる予測器を共同で訓練できる。
• GANのモードコラプスを防ぐために、画像変換とステアリング指令予測のタスクを共同で最適化する共トレーニング方式を採用している。
• 制御予測器の訓練に、無制限で入手可能なアノテーション付き仮想データを活用している。
• 理論的分析により、仮想表現のエントロピーが実画像よりも低いことが示され、情報ボトルネック最適化における圧縮フェーズの負担が軽減される。

実験結果

リサーチクエスチョン

• RQ1 複数のソースからの実世界ドライブデータを、ドメインシフトを解消する単一の簡素化された仮想ドメインに統合できるか？
• RQ2 複雑性が低減された仮想ドメインに実画像を変換することで、エンドツーエンド自動運転の性能が向上するか？
• RQ3 仮想表現が最小十分統計量に近いため、情報ボトルネックの初期化としてより優れていると見なせるか？
• RQ4 本手法のフレームワークは、特に未観測データセット間の知識移行が行われる低データ環境において、どの程度効果的か？
• RQ5 画像変換と制御予測の共同訓練は、条件付きGANにおけるモードコラプスを効果的に防止できるか？

主な発見

• DU-driveは、UdacityおよびComma.aiドライブデータセットの両方で最先端の性能を達成し、完全教師あり設定下でUdacityでは3.81 MAE、CARLAでは3.57 MAEを記録した。
• Udacityデータのラベル付きデータを20%に制限した場合、DU-driveはMAEを6.34に低下させ、ベースラインのPilotNetモデル（7.86 MAE）を大きく上回った。
• 性能向上は入力エントロピーの低減と正の相関を示している：仮想表現の分散は実画像よりも顕著に低く（例：CARLAでは31,650 vs. 82,745）、情報ボトルネックの初期化としてより優れていることを示している。
• ドメイン統合により、1つのモデルが複数の実データセットに一般化可能となり、個別に訓練されたモデルと同等の性能を達成した。一方、実データのみで共同訓練を行うとドメインシフトのため失敗した。
• 共トレーニング方式はモードコラプスを効果的に防止し、生成された仮想画像にレーンマークなどの重要な走行手がかりが保持されていることが、定性的な結果および注釈マップ分析で確認された。
• 仮想ドメイン表現は、実画像よりもエントロピーが低く、よりコンactかつ情報量が多い。これは、情報ボトルネック最適化における圧縮フェーズの負担を軽減する。