[論文レビュー] Exploring Imitation Learning for Autonomous Driving with Feedback Synthesizer and Differentiable Rasterization

Jinyun Zhou, Rui Wang+6 more|arXiv (Cornell University)|Mar 2, 2021

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本論文は、データ拡張のためのフィードバック合成器とタスク固有の損失計算のための微分可能ラスタライザーを用いて強化された教師強化学習に基づく自動運転計画手法を提案する。本手法は、フィードバックベースのデータ合成、微分可能な軌道-画像投影、および注目メカニズムを用いたシーン推論を統合することで、70.0%のADSパスレートを達成し、耐性、安全性、推論速度の面で顕著に向上を実現した。

ABSTRACT

We present a learning-based planner that aims to robustly drive a vehicle by mimicking human drivers' driving behavior. We leverage a mid-to-mid approach that allows us to manipulate the input to our imitation learning network freely. With that in mind, we propose a novel feedback synthesizer for data augmentation. It allows our agent to gain more driving experience in various previously unseen environments that are likely to encounter, thus improving overall performance. This is in contrast to prior works that rely purely on random synthesizers. Furthermore, rather than completely commit to imitating, we introduce task losses that penalize undesirable behaviors, such as collision, off-road, and so on. Unlike prior works, this is done by introducing a differentiable vehicle rasterizer that directly converts the waypoints output by the network into images. This effectively avoids the usage of heavyweight ConvLSTM networks, therefore, yields a faster model inference time. About the network architecture, we exploit an attention mechanism that allows the network to reason critical objects in the scene and produce better interpretable attention heatmaps. To further enhance the safety and robustness of the network, we add an optional optimization-based post-processing planner improving the driving comfort. We comprehensively validate our method's effectiveness in different scenarios that are specifically created for evaluating self-driving vehicles. Results demonstrate that our learning-based planner achieves high intelligence and can handle complex situations. Detailed ablation and visualization analysis are included to further demonstrate each of our proposed modules' effectiveness in our method.

研究の動機と目的

• フィードバック合成器を用いて、現在の方策に基づき反復的に生成・摂動されるオンポリシー軌道を生成することで、教師強化学習における分布シフトを軽減する。
• 衝突、レーンオフ、交通ルール違反をペナルティ化する微分可能なタスク損失を導入することで、安全性とタスク準拠性を向上させる。
• 推論遅延を低減するため、重いConvLSTMベースのネットワークに代えて、軽量な微分可能ラスタライザーを採用し、軌道評価を実現する。
• 空間的アテンションメカニズムを統合することで、可視化可能なアテンションヒートマップを生成し、解釈可能性とシーン理解を向上させる。
• オプションの最適化ベースの後処理計画器（セーフティゲートキーパー）を導入することで、ドライブの快適性と耐性を向上させる。

提案手法

• 上位から中間、中間から上位の教師強化学習フレームワークを採用し、上位視点の地図とセンシング表現を入力として用いることで、柔軟なデータ操作を可能にする。
• 現在の方策に基づき、反復的にオンポリシー軌道を生成・摂動するフィードバック合成器を設計し、分布シフトの低減を図る。
• 予測されたウェイポイントをピクセルレベルの画像に変換する微分可能な車両ラスタライザーを実装し、エンド・トゥ・エンドの微分可能な損失計算を可能にする。
• ラスタライズド出力と事前に定義されたオブジェクトマスクを比較することで、衝突、オフロード走行、交通信号準拠などのタスク固有損失を統合する。
• LSTMと運動学的層を備えた軌道デコードモジュールを採用し、AgentRNNのような重いネットワークに依存しない、運動学的に妥当な軌道を生成する。
• 重要な交通参加者を強調する空間的アテンションメカニズムを適用し、ドライブ意思決定における解釈可能性と因果的推論を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オンポリシーのデータを生成するフィードバック合成器は、自動運転の教師強化学習における一般化性能と分布シフトの低減に寄与するか？
• RQ2 微分可能ラスタライゼーションは、複雑な時空間ネットワークに依存せずに、効率的かつリアルタイムのタスク損失計算を可能にするか？
• RQ3 微分可能ラスタライゼーションを介してタスク固有損失を統合することで、純粋な教師強学習と比較して、安全性と交通ルール準拠性がどの程度向上するか？
• RQ4 注目ベースの特徴学習は、複雑なドライブシナリオにおける解釈可能性と性能向上に寄与するか？
• RQ5 オプションの後処理計画器は、多様なテストシナリオにおいて高いパスレートを維持したまま、安全性とドライブ快適性を向上させるか？

主な発見

• フィードバック合成器の導入により、ADSパスレートはM1の45.7%からM2の70.0%に向上し、すべてのシナリオタイプで障害率の顕著な低減が確認された。
• 微分可能ラスタライザーのおかげで、重いConvLSTMネットワークの必要性が排除され、リアルタイム推論が実現。従来手法に比べてモデル推論が高速化された。
• 後処理計画器（M3）は94.29%のADSパスレートを達成し、快適性スコアを0.1342まで向上。学習ベースの計画器および従来のレーンセンター線計画器を上回った。
• フィードバック合成器によるデータ拡張は、新たに提案された快適性指標により、ドライブ快適性をわずかに低下させる傾向があることが判明。これにより、多様性と滑らかさのトレードオフが示された。
• ガウスベースのラスタライゼーションにおける切り捨てを施したモデル（M1c）はM1に劣り、長尾分布が障害物回避および交通信号準拠に寄与することが示唆された。
• スピード違反と到着不能が主な障害モードとして特定され、将来の改善の余地があることが示唆された。強化学習にインspiredされた追加損失関数の導入が有効である可能性がある。