[論文レビュー] Probabilistic Prediction of Interactive Driving Behavior via Hierarchical Inverse Reinforcement Learning

Liting Sun, Wei Zhan+1 more|arXiv (Cornell University)|Sep 9, 2018

Autonomous Vehicle Technology and Safety参考文献 21被引用数 9

ひとこと要約

本稿では、確率的かつ相互作用を考慮した人間の運転行動の予測のための階層的逆強化学習（IRL）フレームワークを提案する。運転手の意思決定を離散的（例：譲る／通る）および連続的（例：軌道）な行動の階層としてモデル化することで、模倣学習から報酬関数を学習し、エゴ車両の将来の計画に条件づけられた分布の混合として将来の軌道を予測する。これは、HMM やニューラルネットワークベースのベースラインと比較して、合流レーンにおけるシナリオで優れた精度を達成する。

ABSTRACT

Autonomous vehicles (AVs) are on the road. To safely and efficiently interact with other road participants, AVs have to accurately predict the behavior of surrounding vehicles and plan accordingly. Such prediction should be probabilistic, to address the uncertainties in human behavior. Such prediction should also be interactive, since the distribution over all possible trajectories of the predicted vehicle depends not only on historical information, but also on future plans of other vehicles that interact with it. To achieve such interaction-aware predictions, we propose a probabilistic prediction approach based on hierarchical inverse reinforcement learning (IRL). First, we explicitly consider the hierarchical trajectory-generation process of human drivers involving both discrete and continuous driving decisions. Based on this, the distribution over all future trajectories of the predicted vehicle is formulated as a mixture of distributions partitioned by the discrete decisions. Then we apply IRL hierarchically to learn the distributions from real human demonstrations. A case study for the ramp-merging driving scenario is provided. The quantitative results show that the proposed approach can accurately predict both the discrete driving decisions such as yield or pass as well as the continuous trajectories.

研究の動機と目的

• 自動運転における決定論的で非相互作用的な予測モデルの限界を解消し、人間の運転手が他の車両の将来の行動を予測することを考慮しないことの問題を是正する。
• 人間の運転手の階層的意思決定プロセスをモデル化し、離散的相互作用結果（例：譲る／通る）と連続的軌道生成を分離する。
• 歴史的状態とエゴ車両の将来の計画に条件づけられた将来の軌道分布を条件付ける確率的予測フレームワークを構築し、相互作用を考慮した行動モデリングを可能にする。
• 合流レーンのような相互作用的な運転シナリオにおいて、離散的運転意思決定と連続的軌道の両方の予測精度を向上させる。
• 実世界の運転データを用いた定量的比較を通じて、本手法の有効性を検証する。

提案手法

• 本手法は、人間の運転行動を階層的プロセスとしてモデル化する：離散的意思決定（例：譲る／通る）がゲーム理論的結果を定義し、連続的意思決定が滑らかで動的な軌道を形成する。
• 将来の軌道の分布を、異なる離散的意思決定結果に対応する確率分布の混合として定式化する。
• 階層的逆強化学習を用いて、人間の模倣データから報酬関数を推定し、離散的および連続的コスト関数を同時に学習する。
• 連続的軌道予測は、学習済みコスト関数を用いた有限区間のモデル予測制御（MPC）により生成され、動的整合性と滑らかさが保証される。
• 予測モデルはエゴ車両の将来の計画に条件づけられており、人間の運転手が他者の行動を予測するのを反映した相互作用を考慮した予測が可能になる。
• 予測品質を評価するためのマルチコンポonentスコアリング指標（B_c = G + C + D）が採用され、それぞれのコンポonentは一般性、慎重さ、非防御的行動を測定する。

実験結果

リサーチクエスチョン

• RQ1 階層的 IRL フレームワークは、相互作用的な運転シナリオにおいて、離散的運転意思決定（例：譲る／通る）と連続的軌道の両方を正確に予測できるか？
• RQ2 エゴ車両の将来の計画に予測を条件づけることで、履歴のみに依存するモデルと比較して、精度がどのように向上するか？
• RQ3 本手法は、非相互作用ベースライン（HMM やニューラルネットワーク）と比較して、相互作用を考慮した行動をどれほどうまく予測できるか？
• RQ4 分布の混合形式は、人間の運転行動の不確実性とばらつきをどれほど的確に捉えられるか？
• RQ5 模倣学習から得た学習済み報酬関数は、合流レーンのような複雑なシナリオで、真値に近い軌道予測を生成できるか？

主な発見

• 提案された階層的 IRL 手法は、B_c スコアで全体的に最も低く（0.2053）、HMM（0.2551）およびニューラルネットワーク（0.2361）ベースラインを上回った。
• 慎重さ（0.0178）と非防御的行動（0.0698）の両スコアが著しく低減され、より現実的で鋭い運動パターンを示した。
• 20件のテスト軌道において、連続的軌道予測の平均ユークリッド距離（MED）は 0.6172 メートル、標準偏差は 0.2473 メートルであった。
• 3つの代表的な合流レーン例において、予測された最も可能性の高い軌道が、すべてのケースで真値と強く一致しており、視覚的および定量的整合性が確認された。
• 本手法は、エゴ車両の計画が人間ドライバー行動に与える影響を適切に捉え、現実の運転ダイナミクスを反映した相互作用を考慮した予測を可能にした。
• 階層的 IRL フレームワークは、人間の模倣データから離散的意思決定ポリシーと連続的軌道コスト関数の両方を効果的に学習し、正確で確率的な行動モデリングを実現した。