[論文レビュー] Driving Experience Transfer Method for End-to-End Control of Self-Driving Cars

Dooseop Choi, Taeg‐Hyun An+2 more|arXiv (Cornell University)|Sep 6, 2018

Advanced Neural Network Applications参考文献 17被引用数 4

ひとこと要約

本稿では、事前学習済みのソースネットワークから得られるレーン脱出路（LDL）予測を活用して、新しいドライブドメインに適応するための転移学習手法を提案する。両ネットワークのLDL信頼度に基づいてステアリング命令を融合することで、シミュレータ上での安定的かつ安全な走行性能を達成し、VYRおよびD2GT指標の両面でベースラインを上回った。

ABSTRACT

In this paper, we present a transfer learning method for the end-to-end control of self-driving cars, which enables a convolutional neural network (CNN) trained on a source domain to be utilized for the same task in a different target domain. A conventional CNN for the end-to-end control is designed to map a single front-facing camera image to a steering command. To enable the transfer learning, we let the CNN produce not only a steering command but also a lane departure level (LDL) by adding a new task module, which takes the output of the last convolutional layer as input. The CNN trained on the source domain, called source network, is then utilized to train another task module called target network, which also takes the output of the last convolutional layer of the source network and is trained to produce a steering command for the target domain. The steering commands from the source and target network are finally merged according to the LDL and the merged command is utilized for controlling a car in the target domain. To demonstrate the effectiveness of the proposed method, we utilized two simulators, TORCS and GTAV, for the source and the target domains, respectively. Experimental results show that the proposed method outperforms other baseline methods in terms of stable and safe control of cars.

研究の動機と目的

• エンドツーエンドの深層ニューラルネットワークを訓練するための、大規模かつ多様な実世界ドライブデータの収集の課題に対処すること。
• シミュレータなどのソースドメインから、実世界や異なるシミュレータなどのターゲットドメインへ、自己走行制御のための効果的な知識転送を可能にすること。
• 再訓練を一切行わずに、未確認の環境でもエンドツーエンド走行ポリシーの一般化と安定性を向上させること。
• レーン回復などの安全に重要な行動を、転移学習フレームワークに組み込むこと。

提案手法

• ソースネットワーク（共有畳み込みバックボーン）を、ソースドメイン（TORCS）で事前学習し、画像をステアリング命令とレーン脱出路（LDL）にマッピングする。
• ターゲットネットワークは、ソースネットワークの最終畳み込み層からの特徴量を用い、ターゲットドメイン（GTAV）のステアリング命令を予測するための独自のタスク固有ヘッドを備えて訓練される。
• 最終的なステアリング命令は、ソースネットワークとターゲットネットワークの予測の重み付き融合であり、重みはソースネットワークのLDLスコアによって決定される。
• LDLスコアは信頼度指標として機能する：高いLDLはレーン中央からの逸脱が大きいことを示し、それによりターゲットネットワークの予測により依存するようになる。
• ソースネットワークがステアリングとLDLを同時に予測するマルチタスク学習設定を採用し、レーンラインのような共有視覚表現の転送を可能にする。
• 訓練目的関数には、正確なステアリング予測と信頼性の高いLDL推定を促進する損失関数が含まれており、ドメインシフト状況下での耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインで事前学習されたCNNが、視覚的特徴が異なるターゲットドメインに走行経験を効果的に転送できるか？
• RQ2 レーン脱出路（LDL）予測を、ソースネットワークとターゲットネットワークの予測融合のための信頼度信号としてどのように活用できるか？
• RQ3 提案手法は、微調整や直接転送ベースラインと比較して、ターゲットドメインでより安定的かつ安全な走行性能を達成できるか？
• RQ4 視覚的・構造的特徴に顕著な差があるドメイン間（例えば、異なる道路タイプや環境）にも、本手法は一般化可能か？

主な発見

• 提案手法（Prop.2）は、全コースで平均D2GT（0.84メートル）とVYR（1.10）が最低となり、安定性および安全性指標の両面でベースライン手法を上回った。
• 直線的かつややカーブのある道路を有するコース4では、ベースライン手法（BL）がコースを完了できなかったが、Prop.2は最小限の逸脱で正常に完了した。
• ソースネットワーク（SN）は、未知の道路タイプ（例：トンネル、セメント舗装）ではステアリングが不安定であったが、Prop.2は全環境で一貫性があり滑らかな制御を維持した。
• LDLに基づく動的融合への依存が、コース1〜3におけるレーン中央への回復を効果的に実現したことが、実証された。
• Prop.1（ソースネットワークの予測のみを用いた手法）は、ソースドメインに直線道路の表現が不足していたため、コース4で失敗した。これは、ターゲットネットワークの適応の必要性を示している。
• 主観的評価では、Prop.2が最も一貫性があり、人間の運転に類似した行動を示し、軌道が真値パスに密接に一致していた。