[論文レビュー] ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst

Mayank Bansal, Alex Krizhevsky+1 more|arXiv (Cornell University)|Dec 7, 2018

Autonomous Vehicle Technology and Safety被引用数 106

ひとこと要約

この論文は ChauffeurNet を提案します。中間レベルの入力/出力を用いた模倣学習を拡張し、perturbed trajectories と environment-focused losses を用いて、実世界デプロイを含む閉ループでの頑健性を実現する。

ABSTRACT

Our goal is to train a policy for autonomous driving via imitation learning that is robust enough to drive a real vehicle. We find that standard behavior cloning is insufficient for handling complex driving scenarios, even when we leverage a perception system for preprocessing the input and a controller for executing the output on the car: 30 million examples are still not enough. We propose exposing the learner to synthesized data in the form of perturbations to the expert's driving, which creates interesting situations such as collisions and/or going off the road. Rather than purely imitating all data, we augment the imitation loss with additional losses that penalize undesirable events and encourage progress -- the perturbations then provide an important signal for these losses and lead to robustness of the learned model. We show that the ChauffeurNet model can handle complex situations in simulation, and present ablation experiments that emphasize the importance of each of our proposed changes and show that the model is responding to the appropriate causal factors. Finally, we demonstrate the model driving a car in the real world.

研究の動機と目的

• 中間レベルの入力/出力だけでは、複雑なシナリオにおけるロバストな自動運転は不十分であることを示す。
• 合成された軌道摂動を使ったデータ拡張により、モデルが非専門的な挙動（衝突、路外走行など）に触れ、安全性を向上させる。
• 模倣損失と環境損失を組み合わせたマルチ損失トレーニングフレームワークを提案し、閉ループ運転での頑健な挙動を導く。
• 中間レベル表現パイプラインが、シミュレーションで運転ポリシーを訓練し、実世界の車両テストへ転送できることを示す。）

提案手法

• ChauffeurNet の入力として、中間レベルのトップダウン表現（道路地図、信号、速度制限、ルート、動的オブジェクト）を使用する。
• 未来のウェイポイントを反復的に予測し、ピクセル毎のエージェント境界ボックスのヒートマップを出力する Memory-enabled AgentRNN を採用する。
• Road Mask Network と PerceptionRNN を共訓練して、共有特徴量を用いて運転可能領域と他のエージェントの未来位置を予測する。
• 模倣損失（位置、向き、ボックス、サブピクセル補正、速度）と環境損失（衝突、路上走行、幾何、物体予測、道路マスク）を組み合わせた訓練を行う。
• 過去の動作ドロップアウトを導入して過去履歴のズルを防ぎ、Trajectory Perturbation で難易度の高い訓練例を生成する。
• Imitation Dropout（模倣損失をランダムにゼロにする）を適用して、単純な損失加重よりロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 中間レベル表現を用いた純粋な模倣学習だけで、閉ループ設定におけるロバストな運転性能を達成できるか。
• RQ2 模倣学習を perturbed trajectories と environment-focused losses で拡張することが、複雑な運転シナリオでの安全性とロバスト性を向上させるか。
• RQ3 Past-motion dropout、trajectory perturbations、imitation dropout は学習と一般化にどのような影響を与えるか。
• RQ4 シミュレーション/訓練データから、ミッドレベルの知覚/制御分解が実世界の車両運用へ転用できるか。

主な発見

• 中間レベルの表現を用いた純粋な模倣学習だけでは、閉ループ運転のロバスト性は不十分である。
• 専門家の軌道を摺動させ、環境損失を含めることで、停車車両の周囲の接触回避や車線逸脱からの回復といった困難な状況への対応が大幅に改善される。
• Imitation Dropout は単純な損失再加重よりも優れた安全性とロバスト性を示す。
• 摂動と環境損失を用いて訓練されたモデルは、実世界で運転し、 turn、 stops、信号を扱うことができる。
• システムは中間レベルの表現と軌道ベースの制御器で動作し、実デプロイ前にシミュレーションで閉ループの検証を可能にする。