[論文レビュー] Modular Vehicle Control for Transferring Semantic Information Between Weather Conditions Using GANs

Patrick Wenzel, Qadeer Khan+2 more|arXiv (Cornell University)|Jul 3, 2018

Autonomous Vehicle Technology and Safety参考文献 15被引用数 5

ひとこと要約

本論文では、GANを用いて異なる天候条件下での意味的知識を転送するモジュラーな車両制御フレームワークを提案する。これにより、1つの天候条件下でのみ学習された単一の制御モジュールが、未学習の天候条件下でも一般化可能になる。自己教師ありドメイン適応に基づくCycleGANを用いて認識モジュールを訓練することで、15種類の天候条件下で学習されたモデルと同等のエンドツーエンド性能を達成し、新たなステアリングラベルの収集を一切行わない。

ABSTRACT

Even though end-to-end supervised learning has shown promising results for sensorimotor control of self-driving cars, its performance is greatly affected by the weather conditions under which it was trained, showing poor generalization to unseen conditions. In this paper, we show how knowledge can be transferred using semantic maps to new weather conditions without the need to obtain new ground truth data. To this end, we propose to divide the task of vehicle control into two independent modules: a control module which is only trained on one weather condition for which labeled steering data is available, and a perception module which is used as an interface between new weather conditions and the fixed control module. To generate the semantic data needed to train the perception module, we propose to use a generative adversarial network (GAN)-based model to retrieve the semantic information for the new conditions in an unsupervised manner. We introduce a master-servant architecture, where the master model (semantic labels available) trains the servant model (semantic labels not available). We show that our proposed method trained with ground truth data for a single weather condition is capable of achieving similar results on the task of steering angle prediction as an end-to-end model trained with ground truth data of 15 different weather conditions.

研究の動機と目的

• 未学習の天候条件下での自律走行におけるエンドツーエンド学習の一般化性能の低さを解決すること。
• 各新しい天候条件下で新たな真値ステアリングデータを収集する必要を排除すること。
• 教師あり学習を用いてラベル付きの天候条件下から、ラベルなしの未学習の天候条件下への意味的知識の転送を、教師なし学習を用いて実現すること。
• 認識モジュールと制御モジュールを分離し、新しい環境に適応する際には制御モジュールを再トレーニングせず、認識モジュールのみを再トレーニングできるようにすること。
• GANを活用した認識インターフェースを備えた1つの制御モジュールが、多様な天候条件下で堅牢な性能を発揮できることを実証すること。

提案手法

• 車両制御タスクを、独立した2つのモジュールに分割する：認識モジュール（エンコーダデコーダ）と、1つの天候条件下での模倣学習により訓練された制御モジュール。
• マスター認識モジュールは、ある天候条件下（例：デフォルト）の意味的ラベルを用いて、RGB画像からの潜在表現を抽出するように訓練される。
• サブリング認識モジュールは、CycleGANを用いて、未学習の天候条件下からの画像をマスターモジュールのドメインに変換するように訓練される。これにより、ペairedデータがなくても意味的特徴抽出が可能になる。
• CycleGANは、未学習の天候条件下のドメインからの画像をマスターのドメインに翻訳することで、ペアのない画像のみを用いて、未学習の天候条件下の合成意味的マップを生成する。
• 制御モジュールは固定され、新しい天候条件下に展開する際には認識モジュールのみを交換する。これにより、制御ポリシーの再トレーニングが不要になる。
• マスター・サブリングアーキテクチャを採用し、マスター（ラベル付き）が敵対的適応によりサブリング（ラベルなし）を訓練することで、教師なしの意味的転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの天候条件下でのみ学習された制御ポリシーが、新しいラベルデータを収集せずに複数の未学習の天候条件下に一般化可能か？
• RQ2 GANベースの教師なしドメイン適応は、自律走行において多様な天候条件下で意味的構造をどれほど保持できるか？
• RQ3 固定された制御モジュールと交換可能な認識モジュールを持つモジュラーアーキテクチャが、ゼロショットの天候一般化においてエンドツーエンド学習を上回る性能を発揮できるか？
• RQ4 CycleGANが生成する意味的マップが、視界が悪いまたは極端な天候条件下でのステアリングポリシー性能に与える影響は何か？
• RQ5 マスター・サブリング認識学習フレームワークを用いて、ラベル付きドメインから複数のラベルなしドメインへ意味的知識をどれほど転送できるか？

主な発見

• モジュラーなサブリングモデルは15種類の天候条件下で平均96%の成功率を達成し、すべての15条件で学習されたエンドツーエンドモデルと同等の性能を示した。
• 晴れやデフォルトの天候条件下では100%のターンを正常に通過し、15条件中11条件で88%以上の成功率を維持した。
• 視界が著しく悪いHardRainSunset（条件13）では、性能が低下し、63%の成功率にとどまった。これは、低視界とCycleGANによる生成された意味的特徴の質の低さが要因と考えられた。
• マスター・サブリングアーキテクチャは、1つまたは数個の条件でのみ学習されたエンドツーエンドモデルを上回り、特に学習ドメインから大きく離れた条件において顕著な優位性を示した。
• 新しいステアリングコマンドの収集や制御モジュールの再トレーニングなしに、未学習の天候条件下への完全な一般化が可能となった。
• マスター・サブリングGANフレームワークは、教師なしの方法でドメイン間を横断して意味的情報を効果的に転送でき、最小限のデータ依存性で堅牢な制御を実現した。