[論文レビュー] Driving in Real Life with Inverse Reinforcement Learning

Tung Phan-Minh, Forbes Howington+11 more|arXiv (Cornell University)|Jun 7, 2022

Autonomous Vehicle Technology and Safety被引用数 9

ひとこと要約

本論文では、ラスベガスの実世界ドライブデータを500時間以上用いて学習した、逆強化学習（IRL）を用いた、密集した都市部の自動運転における学習ベースの運動計画手法であるDriveIRLを提案する。本手法は多様で安全な軌道を生成し、軽量な安全フィルタを適用し、学習済みのスコアリングモデルを用いることで、複雑な交通状況や割り込み、複雑な操作を含む完全自動運転を実現した。

ABSTRACT

In this paper, we introduce the first learning-based planner to drive a car in dense, urban traffic using Inverse Reinforcement Learning (IRL). Our planner, DriveIRL, generates a diverse set of trajectory proposals, filters these trajectories with a lightweight and interpretable safety filter, and then uses a learned model to score each remaining trajectory. The best trajectory is then tracked by the low-level controller of our self-driving vehicle. We train our trajectory scoring model on a 500+ hour real-world dataset of expert driving demonstrations in Las Vegas within the maximum entropy IRL framework. DriveIRL's benefits include: a simple design due to only learning the trajectory scoring function, relatively interpretable features, and strong real-world performance. We validated DriveIRL on the Las Vegas Strip and demonstrated fully autonomous driving in heavy traffic, including scenarios involving cut-ins, abrupt braking by the lead vehicle, and hotel pickup/dropoff zones. Our dataset will be made public to help further research in this area.

研究の動機と目的

• 手動で調整されたコスト関数に依存せずに、複雑で密集した都市部の運転状況を処理できる学習ベースの運動計画手法の開発。
• 行動選択にためらうヒューリスティックコスト関数の手動チューニングを必要とする古典的手法の限界を克服すること。
• 専門家の模倣による学習により、ドライビング行動の微細なニュアンスを学習することで、自動運転の一般化性能と安全性を向上させること。
• 人間ドライバーが予測不能な行動を取る高密度な都市環境において、実世界での検証を実施すること。
• 今後のIRLベースの運動計画研究を支援するため、大規模な実世界ドライブデータセットの公開。

提案手法

• 単純で解釈可能な軌道生成モジュールを用いて、動的に実現可能でルートに準拠し、コントローラーと互換性のあるエゴ軌道の多様な集合を生成する。
• 全軌道が安全な継続性を持つことを保証する、軽量で再帰的な安全フィルタを適用し、形式的な安全保証を提供する。
• ラスベガスから得た500時間以上の実世界専門家ドライブデータを用いて、最大エントロピー逆強化学習（MaxEnt IRL）により軌道スコアリングモデルを学習する。
• 学習の能力をスコアリングに特化させ、軌道生成と安全確保のタスクから学習タスクを分離する。
• 最高スコアの軌道を低レベルの車両コントローラーへの入力として使用する。
• 閉ループシミュレーションとラスベガスのストリップでの実世界テストを活用し、耐障害性と安全性を検証する。

実験結果

リサーチクエスチョン

• RQ1 逆強化学習で学習した学習ベースの計画法は、密集した都市部の交通状況において、耐障害性があり安全で人間らしいドライブ性能を達成できるか？
• RQ2 軌道生成、安全確認、スコアリングの分離は、計画システムの学習可能性と解釈可能性をどのように向上させるか？
• RQ3 学習済みスコアリングモデルは、攻撃的な割り込みや乗車・降車エリアのような複雑な実世界シナリオにどの程度一般化できるか？
• RQ4 軽量な安全フィルタの統合は、純粋なエンドツーエンド学習アプローチと比較して、実世界でのデプロイメント信頼性をどのように向上させるか？
• RQ5 実世界の専門家模倣データで学習したモデルは、安全性能と快適性の指標において、古典的なルールベースの計画法（インテリジェントドライバー・モデル）を上回れるか？

主な発見

• DriveIRLは、ラスベガスのストリップで完全自動運転を達成し、密集した交通状況、攻撃的な割り込み、急ブレーキ、ホテルの乗降車エリアを正常に通過した。
• 安全フィルタを適用した場合、ストリップの8.5マイル中6.9マイルを自動運転で走行し、強制的トレインオーバーは必須のトレインオーバー領域でのみ発生した。
• 安全フィルタなしでは、11マイル中8.8マイルを自動運転で走行し、強力なベースライン性能を示した。
• 安全フィルタを備えたベースモデルは、衝突率（0.001 vs. 0.005）とバックドア率（0.006 vs. 0.019）の両方の安全指標で、IDMベースラインおよび一定速度ベースラインを上回った。
• 学習済みモデルは快適性スコア0.815、安全性スコア0.930を達成し、IDMベースライン（0.891安全性、0.898快適性）を大きく上回った。
• ℓ₂誤差が2.204（IDMベースライン4.478）であり、より良い軌道追従性と人間らしい運動プロファイルを示した。