[論文レビュー] Improving the Generalization of End-to-End Driving through Procedural Generation

Quanyi Li, Zhenghao Peng+3 more|arXiv (Cornell University)|Dec 26, 2020

Autonomous Vehicle Technology and Safety参考文献 39被引用数 9

ひとこと要約

本論文では、エンドツーエンドの深層学習ベースのドライビングエージェントの汎化性能を向上させるために、手続き的生成可能で高機能にカスタマイズ可能なドライブシミュレータ「PGDrive」を紹介する。基本的なブロックから構成される多様な道路ネットワークと変化する交通状況を動的に生成することで、手続き的多様性を高めた学習により、衝突率が著しく低下し、未知のシナリオでも性能が向上することが示された。これは、手続き的生成が強化学習エージェントの過学習を緩和し、耐性を高めることを示している。

ABSTRACT

Over the past few years there is a growing interest in the learning-based self driving system. To ensure safety, such systems are first developed and validated in simulators before being deployed in the real world. However, most of the existing driving simulators only contain a fixed set of scenes and a limited number of configurable settings. That might easily cause the overfitting issue for the learning-based driving systems as well as the lack of their generalization ability to unseen scenarios. To better evaluate and improve the generalization of end-to-end driving, we introduce an open-ended and highly configurable driving simulator called PGDrive, following a key feature of procedural generation. Diverse road networks are first generated by the proposed generation algorithm via sampling from elementary road blocks. Then they are turned into interactive training environments where traffic flows of nearby vehicles with realistic kinematics are rendered. We validate that training with the increasing number of procedurally generated scenes significantly improves the generalization of the agent across scenarios of different traffic densities and road networks. Many applications such as multi-agent traffic simulation and safe driving benchmark can be further built upon the simulator. To facilitate the joint research effort of end-to-end driving, we release the simulator and pretrained models at https://decisionforce.github.io/pgdrive

研究の動機と目的

• 限定的で固定されたシミュレータ環境で学習されたエンドツーエンドドライビングエージェントの過学習と一般化性能の低さを是正すること。
• 道路ネットワークと交通シナリオの多様性を高めるスケーラブルでオープンエンドのシミュレータを構築し、モデルの一般化性能の評価と向上を可能とすること。
• 手続き的生成が、さまざまな交通密度、摩擦係数、マップの複雑さにおいて、安全性の一般化と耐性に与える影響を調査すること。
• 今後の研究のための、制御可能で再現可能かつ多様なシミュレーション条件のもとで、エンドツーエンドドライビングポリシーのベンチマークを可能とすること。

提案手法

• 基本的な道路ブロック（例：ストレート、ラムプ、フォーク、円形交差点、カーブ、交差点）を定義し、そのパラメータをカスタマイズ可能にすることで、手続き的マップ生成の基盤を構築する。
• ブロックを段階的に組み合わせる「ブロックインクリメンタル生成」アルゴリズムを実装し、実行可能でインタラクティブなドライブ環境を生成する。
• 現実的な車両運動モデルと、マルチモーダルな観測（LiDARに類似した点群、RGB/深度カメラ、ビューアー・エイリアスのセマンティックマップ、スカラーデータ）を統合し、多様なセンサ入力をシミュレートする。
• 安全制約下で学習するため、標準的な報酬設計に加え、ラグランジュ制約最適化を用いた強化学習（PPO）を採用する。
• 交通密度や摩擦係数などの要因を制御しながら、手続き的生成されたシナリオの数を増やしていくことで、訓練環境を体系的に変化させる。
• 多様なマップ構造、交通フロー、環境条件を持つ未知のテストシナリオにおいて、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 手続き的生成された訓練環境は、未知の道路ネットワークや交通密度において、エンドツーエンドドライビングエージェントの一般化性能をどの程度向上させるか？
• RQ2 訓練の多様性は、特に衝突回避の観点から、深層強化学習エージェントの安全性の一般化にどのように影響するか？
• RQ3 単一のブロックタイプで学習したエージェントは、複雑な複数ブロック構成の環境に一般化できるか、それとも複合マップでの共同学習が不可欠か？
• RQ4 交通密度や路面摩擦係数といった環境ハイパーパrameterは、訓練済みポリシーの一般化性能にどのように影響するか？

主な発見

• 手続き的生成された環境の数を増やして学習させることで、衝突率が著しく低下し、未知のシナリオでも性能が向上し、一般化性能の向上が明確に示された。
• 標準的な報酬設計に比べ、ラグランジュ法を用いた制約付き強化学習により、テストエピソードコストが約50％削減された。特に訓練データが限られた状況で顕著だった。
• 交通密度を[0.0, 0.4]の範囲でランダムに変化させたエージェントは、密度が固定された0.1のエージェントよりも、より高い密度（例：0.5–0.6）の環境でも一般化性能が優れており、入力の多様性の利点が裏付けられた。
• 3つのブロックタイプ（例：3ブロックの組み合わせ）を含むマップで学習したエージェントは、単一ブロック環境で300回の別々の環境で学習したエージェントよりも、顕著に優れた一般化性能を示した。
• 限定的なシナリオでの訓練では、安全性の性能に過学習が生じ、未知の環境では高い衝突率を示した。これは、多様な訓練がなければ現実世界への導入にリスクを伴うことを示している。
• PGDriveは1台のPCで最大500ステップ/秒のシミュレーションを達成し、効率的な学習と評価が可能であり、スケーラビリティを実現するための並列処理もサポートしている。