[論文レビュー] Modeling Human Driving Behavior through Generative Adversarial Imitation Learning

Raunak Bhattacharyya, Blake Wulfe+5 more|arXiv (Cornell University)|Jun 10, 2020

Anomaly Detection Techniques and Applications被引用数 12

ひとこと要約

本論文は、実世界のNGSIMデータを用いて人間の運転行動をモデル化するための強化された生成的対抗的模倣学習（GAIL）フレームワークを提案する。マルチエージェント相互作用を扱うPS-GAIL、ドメイン固有の報酬設計を可能にするRAIL、および潜在的運転スタイルを分離するBurn-InfoGAILを導入することで、より低い誤差と現実的で自発的な交通行動を実現する優れた人間の軌道模倣を達成した。

ABSTRACT

An open problem in autonomous vehicle safety validation is building reliable models of human driving behavior in simulation. This work presents an approach to learn neural driving policies from real world driving demonstration data. We model human driving as a sequential decision making problem that is characterized by non-linearity and stochasticity, and unknown underlying cost functions. Imitation learning is an approach for generating intelligent behavior when the cost function is unknown or difficult to specify. Building upon work in inverse reinforcement learning (IRL), Generative Adversarial Imitation Learning (GAIL) aims to provide effective imitation even for problems with large or continuous state and action spaces, such as modeling human driving. This article describes the use of GAIL for learning-based driver modeling. Because driver modeling is inherently a multi-agent problem, where the interaction between agents needs to be modeled, this paper describes a parameter-sharing extension of GAIL called PS-GAIL to tackle multi-agent driver modeling. In addition, GAIL is domain agnostic, making it difficult to encode specific knowledge relevant to driving in the learning process. This paper describes Reward Augmented Imitation Learning (RAIL), which modifies the reward signal to provide domain-specific knowledge to the agent. Finally, human demonstrations are dependent upon latent factors that may not be captured by GAIL. This paper describes Burn-InfoGAIL, which allows for disentanglement of latent variability in demonstrations. Imitation learning experiments are performed using NGSIM, a real-world highway driving dataset. Experiments show that these modifications to GAIL can successfully model highway driving behavior, accurately replicating human demonstrations and generating realistic, emergent behavior in the traffic flow arising from the interaction between driving agents.

研究の動機と目的

• 自律走行車両シミュレーションにおける人間の運転行動を信頼性がありデータ駆動でモデル化するための手法を開発すること。
• 標準的なGAILがマルチエージェント相互作用、ドメイン固有の運転ルール、人間の示範データにおける潜在的変動性を扱う際の限界を克服すること。
• 実世界の運転データから直接ニューラルポリシーを学習することで、正確でスケーラブルかつ現実的な高速道路交通シミュレーションを可能にすること。
• コスト関数が未知である高次元的で確率的かつ非線形な運転環境において、模倣学習のパフォーマンスを向上させること。

提案手法

• 複数の相互作用するエージェントのポリシーを同時に学習可能とする、GAILのパラメータ共有版であるPS-GAILを提案。
• 報酬増強模倣学習（RAIL）を導入し、レーン維持や安全な追従距離といったドメイン知識を報酬信号に組み込むことで、報酬設計を明示的に行わずにドメイン固有のルールを統合する。
• 相互情報量の最大化を用いて、専門家の示範データから潜在的運転スタイル（例：攻撃的 vs. 謹ましい）を分離するBurn-InfoGAILを開発。
• バーンイン示範シーケンスに条件づけられた、学習された潜在コードを用いた条件付きポリシーネットワークを採用し、個々の運転スタイルをモデル化。
• 専門家とその模倣行動の分布のギャップを最小化するために、敵対的模倣を通じてポリシーをエンドツーエンドで学習するため、信頼領域ポリシー最適化（TRPO）を採用。
• 状態表現としてLIDARおよび道路特徴を活用し、2層のMLPポリシー・ヘッドと2層のLSTMエンコーダーを用いて潜在コードを推論。

実験結果

リサーチクエスチョン

• RQ1 GAILは高速道路走行シナリオにおけるマルチエージェント相互作用を効果的に拡張できるか？
• RQ2 明示的な報酬設計を伴わず、ドメイン固有の運転ルール（例：レーン維持、安全な追従距離）を模倣学習に統合できるか？
• RQ3 人間の運転行動における潜在的変動性（例：個々の運転スタイル）を表現学習を用いてどの程度分離・モデル化できるか？
• RQ4 PS-GAIL、RAIL、Burn-InfoGAILの組み合わせが、より優れた軌道模倣精度と自発的で現実的な交通行動をもたらすか？

主な発見

• Burn-InfoGAILは1000回のロールアウトにおいて、速度および位置の予測で最小の平均二乗誤差（RMSE）を達成し、長時間にわたる走行においてすべてのベースラインを上回った。
• GAIL単体ではモード探索行動を示し、約10秒の走行後に平均ポリシーにずれ込み、スタイル固有の行動を失った。
• VAEベースラインは潜在コードの条件付けにより短期間のスタイル忠実度を維持できたが、誤差の累積により道路外への軌道が生じた。
• RAILは報酬信号にドメイン知識を組み込むことでポリシー行動を改善し、より現実的なレーン維持および追従行動を実現した。
• PS-GAILは協調的マルチエージェント行動を効果的にモデル化し、混雑した交通状況におけるレーン変更や車両追従などの現実的な相互作用を可能にした。
• PS-GAIL、RAIL、Burn-InfoGAILの3つの拡張を組み合わせることで、実世界のNGSIMデータと類似した自発的で現実的な交通フローのパターンが出現した。