[論文レビュー] TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors

Simon Su, Sebastian Regalado+2 more|arXiv (Cornell University)|Jan 17, 2021

Traffic control and management参考文献 37被引用数 4

ひとこと要約

TrafficSim は、実世界のドライブデータから学習する微分可能で潜在変数を用いたマルチエージェント運動方針を提案する。この方針は、多様で社会的に整合性のある交通行動を生成する。訓練中に方針をアンラップし、時間適応型のマルチタスク損失を用いた完全に微分可能なシミュレーションを通じて最適化することで、ベースラインと比較して10%低い衝突率を達成し、実現可能性の高いリアルなシミュレーションを実現。これにより、運動計画法のための効果的なデータ拡張が可能になる。

ABSTRACT

Simulation has the potential to massively scale evaluation of self-driving systems enabling rapid development as well as safe deployment. To close the gap between simulation and the real world, we need to simulate realistic multi-agent behaviors. Existing simulation environments rely on heuristic-based models that directly encode traffic rules, which cannot capture irregular maneuvers (e.g., nudging, U-turns) and complex interactions (e.g., yielding, merging). In contrast, we leverage real-world data to learn directly from human demonstration and thus capture a more diverse set of actor behaviors. To this end, we propose TrafficSim, a multi-agent behavior model for realistic traffic simulation. In particular, we leverage an implicit latent variable model to parameterize a joint actor policy that generates socially-consistent plans for all actors in the scene jointly. To learn a robust policy amenable for long horizon simulation, we unroll the policy in training and optimize through the fully differentiable simulation across time. Our learning objective incorporates both human demonstrations as well as common sense. We show TrafficSim generates significantly more realistic and diverse traffic scenarios as compared to a diverse set of baselines. Notably, we can exploit trajectories generated by TrafficSim as effective data augmentation for training better motion planner.

研究の動機と目的

• ヒューリスティックなルールではなく、人間のドライブの模倣によるデータから学習することで、シミュレーションと実世界の交通行動のギャップを埋める。
• yielding や合流、不規則な操作を含む複雑な相互作用を含む、多様で社会的に整合性のあるマルチエージェント軌道を生成する。
• 分布シフトに強く、最小限の衝突率を維持しながら、長時間スパンのシミュレーションを可能にする。
• 自律走行の運動計画法のためのインタラクティブなシナリオ設計とデータ拡張を支援する。
• 時間適応型損失関数を用いて、人間行動の模倣と一般的な常識的制約の両立を実現する。

提案手法

• すべてのエージェントを同時に計画を生成するための連携マルチエージェント方針をパrameterizeするため、暗黙の潜在変数モデルを用いる。
• 完全に微分可能なシミュレーションを介してバックプロパゲーションを用い、実際の軌道のデモンストレーションを用いて方針をエンドツーエンドで最適化する。
• 誤差の蓄積を軽減し、長時間スパンの整合性を向上させるために、訓練中に方針をアンラップする。
• 各タイムステップで、デモンストレーションされた軌道の模倣と一般的な交通ルールへの準拠の両方をバランスさせる時間適応型マルチタスク損失を導入する。
• 将来のエージェント計画を $T_{\text{plan}}$ の時間窓でモデル化することで、複数ステップの推論が可能となり、最大4倍の高速化が実現できる効率的なシミュレーションを可能にする。
• 衝突回避やルール準拠を強制するために、ランタイムでの再試 Sampling や潜在変数の勾配ベースの最適化をサポートする。

Figure 1: Generating realistic multi-agent behaviors is a key component for simulation

実験結果

リサーチクエスチョン

• RQ1 実世界のデータから学習した学習ベースのマルチエージェント運動方針は、ヒューリスティックなルールベースのモデルと比較して、より現実的で多様な交通行動を生成できるか？
• RQ2 誤差の蓄積を防ぎつつ、長時間スパンにわたり効果的に連携マルチエージェント方針を訓練する方法は何か？
• RQ3 学習されたシミュレータが生成する軌道は、データ拡張を通じて運動計画法の性能をどの程度向上できるか？
• RQ4 リアルなシナリオや安全性を損なわずに、複数ステップの更新によりシミュレーションを高速化できるか？
• RQ5 ランタイム最適化技術は、衝突を低減しつつ行動の多様性を維持するのにどの程度有効か？

主な発見

• TrafficSim は、ヒューリスティックモデル、運動予測モデル、模倣学習モデルを含むすべてのベースラインと比較して、最小のシナリオ再構成誤差を達成した。
• TrafficSim が生成するシナリオにおける衝突率は 10.73% であり、ヒューリスティックモデル（例：IDM では 22.05%）と比較して顕著に低く、最先端の模倣学習モデルと同等の性能を示した。
• TrafficSim からの合成データで訓練された運動計画法は、平均 L2 距離 4.52m を達成し、実データで訓練された計画法（4.85m）を上回り、すべてのベースラインを上回る進捗指標を示した。
• 複数ステップ推論（$\kappa=4$）により、シミュレーション実行時間に最大 4 倍の高速化（0.5Hz 時に 0.24s）が達成され、シナリオ品質の低下は最小限に抑えられた。
• 勾配ベースの最適化によるランタイム最適化により、衝突率は 0.50%（最適化なし時）から 0.12% に低下したが、現実的で多様な軌道の多様性は維持された。
• アブレーションスタディにより、シミュレーション内でのバックプロパゲーションを伴うクローズドループ訓練が、長時間スパンの行動生成のための頑健性を確保するために不可欠であることが確認された。

Figure 2: Complex human driving behavior observed in the real world: red is actor of interest, green are interacting actors