[論文レビュー] Driving Policy Transfer via Modularity and Abstraction

Matthias Müller, Alexey Dosovitskiy+2 more|arXiv (Cornell University)|Apr 25, 2018

Autonomous Vehicle Technology and Safety被引用数 122

ひとこと要約

論文は、認識、方策、低レベル制御のモジュラーアーキテクチャが、シミュレーションで学習した運転方策を微調整なしに実車の1/5スケールトラックへ直接転送できることを示す。生データ画像やモーターコマンドではなく、セマンティックマップとウェイポイント上で動作させることで実現する。

ABSTRACT

End-to-end approaches to autonomous driving have high sample complexity and are difficult to scale to realistic urban driving. Simulation can help end-to-end driving systems by providing a cheap, safe, and diverse training environment. Yet training driving policies in simulation brings up the problem of transferring such policies to the real world. We present an approach to transferring driving policies from simulation to reality via modularity and abstraction. Our approach is inspired by classic driving systems and aims to combine the benefits of modular architectures and end-to-end deep learning approaches. The key idea is to encapsulate the driving policy such that it is not directly exposed to raw perceptual input or low-level vehicle dynamics. We evaluate the presented approach in simulated urban environments and in the real world. In particular, we transfer a driving policy trained in simulation to a 1/5-scale robotic truck that is deployed in a variety of conditions, with no finetuning, on two continents. The supplementary video can be viewed at https://youtu.be/BrMDJqI6H5U

研究の動機と目的

• 実在の現実ギャップを克服するため、モジュール性と抽象化を活用する動機づけと解決。
• 感知、方策、制御を分離する3段階アーキテクチャを提案し、シム-to-リアル転送を容易にする。
• 実世界のセグメンテーションデータで感知を訓練し、現実的な感知出力を用いて運転方策を完全にシミュレーションで訓練する。
• シミュレーションから実車へ、さまざまな環境と条件で転送を実証する。
• セマンティック表現とウェイポイント出力がドメイン横断の堅牢な転送に寄与するか検討する。

提案手法

• 三部モジュールアーキテクチャ: 感知（エンコーダ-デコーダ、ピクセルごとの道路/非道路 segmentation を生成）、運転方策（セグメンテーションを局所ウェイポイント計画にマップ）、低レベル制御（ウェイポイントを追従するPIDベース）。
• 感知はCityscapesで二値道路セグメンテーションをERFNetとクロスエントロピー損失で訓練。
• 運転方策はCARLAで条件付き模倣学習（CIL）を用いて、距離と相対角度で符号化された2つのウェイポイントを出力、上位コマンド（左/直進/右）を条件付け。
• 方策は現実の知覚の欠陥を模倣するノイズ付きのセグメンテーション出力で訓練（グラウンドトゥルース segは無い）。
• 訓練は専門プランナーとPIDフォロワーを用いたシミュレーションデータ(28時間)で、データ拡張と天候変動を適用。
• 制御はウェイポイント角度 φ1 と目標速度に基づく、スロットルとステアリング用の別々のPIDコントローラを使用。

実験結果

リサーチクエスチョン

• RQ1 モジュラーな感知-方策-制御アーキテクチャは、微調整なしで直接シム→リアル転送を可能にするか？
• RQ2 感知をセマンティックセグメンテーション、運転をウェイポイント出力へ抽象化することで、環境や天候条件を越えた一般化は改善されるか？
• RQ3 ノイズ付きセグメンテーション出力で訓練すると、現実世界の転送性能にどのような影響があるか？
• RQ4 ドメインシフト下でのモジュラーでウェイポイントベースの方策とエンドツーエンドの画像ベース方策の比較性能はどうか？

主な発見

ルート	距離	時間	見逃した曲がり角	深刻度	軽度
1	1.0 km	4:12	1/7	0	2
2	0.7 km	3:05	1/8	0	3
3	1.1 km	5:08	2/8	1	5

• モジュラーアプローチは、未見の町や天候条件下のシミュレーションでモノリシックなエンドツーエンドベースラインを上回る。
• シミュレーションでは、セグメンテーションからのウェイポイントベース予測は、画像からの制御やウェイポイントへの基準より新しい町と天候への一般化が高い。
• 実世界では、モジュラー方策はデータ拡張なしで82%、拡張ありで100%の成功を、1/5スケールのトラックで3ルートに対して達成。
• 色画像を用いたエンドツーエンドの方策は、拡張やドメイン乱数化を用いても実世界へ一般化が不十分。
• 実ロボット実験は、再微調整なしでシミュレーションから現実への転送を実証し、感知訓練にはCityscapesデータのみを使用。
• 物理的車両は3つの長距離ルートをすべて完走したが、数件の違反があり、うち1件は介入を要した深刻な違反を含む。