[論文レビュー] Learning Trajectory Prediction with Continuous Inverse Optimal Control via Langevin Sampling of Energy-Based Models.

Yifei Xu, Tianyang Zhao+3 more|arXiv (Cornell University)|Apr 10, 2019

Autonomous Vehicle Technology and Safety参考文献 23被引用数 10

ひとこと要約

本稿では、エネルギー関数モデルにおけるランジエビン標本化を用いたモデルベースの逆最適制御手法を提案し、自動運転における車両軌道予測を実現する。模倣学習から非マルコフ的でニューラル拡張型のコスト関数を学習することで、運動制約とシーンの文脈を組み込みつつ、最先端の予測精度を達成する。

ABSTRACT

Autonomous driving is a challenging multiagent domain which requires optimizing complex, mixed cooperative-competitive interactions. Learning to predict contingent distributions over other vehicles' trajectories simplifies the problem, allowing approximate solutions by trajectory optimization with dynamic constraints. We take a model-based approach to prediction, in order to make use of structured prior knowledge of vehicle kinematics, and the assumption that other drivers plan trajectories to minimize an unknown cost function. We introduce a novel inverse optimal control (IOC) algorithm to learn other vehicles' cost functions in an energy-based generative model. Langevin Sampling, a Monte Carlo based sampling algorithm, is used to directly sample the control sequence. Our algorithm provides greater flexibility than standard IOC methods, and can learn higher-level, non-Markovian cost functions defined over entire trajectories. We extend weighted feature-based cost functions with neural networks to obtain NN-augmented cost functions, which combine the advantages of both model-based and model-free learning. Results show that model-based IOC can achieve state-of-the-art vehicle trajectory prediction accuracy, and naturally take scene information into account.

研究の動機と目的

• 複雑な協調的・競合的相互作用を有する複数車両間の運転行動をモデル化することで、自動運転における軌道予測の精度を向上させること。
• 観測された軌道から未知のドライバーのコスト関数を逆最適制御を用いて学習すること。
• 標準的なマルコフ的仮定を越えて、全軌道に依存する非マルコフ的コスト関数の柔軟な学習を可能とすること。
• データ駆動型ニューラルネットワークと構造的事前知識（車両の運動学的制約）を統合し、一般化性能の向上を図ること。
• 動的制約を満たしながら直接制御シーケンスを生成する標本化ベースの推論手法を開発すること。

提案手法

• 運転行動のコスト関数を表現するためにエネルギー関数型生成モデルを用いる。
• ランジエビン標本化（モンテカルロ法）を適用し、エネルギー関数モデルから直接制御シーケンスを標本抽出する。
• 観測された車両軌道からコスト関数を学習する新しい逆最適制御アルゴリズムを導入する。
• 特徴ベースのコスト関数にニューラルネットワークを拡張して、複雑な高次元の運転好みをモデル化する。
• 車両の運動学的制約をモデル構造に事前知識として組み込む。
• 標本化を通じて軌道の実行可能性を維持しながら、勾配ベースの学習でコスト関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ランジエビン標本化を用いた逆最適制御は、マルチエージェント運転シナリオにおける軌道予測精度を向上させ得るか？
• RQ2 局所状態ではなく全軌道に依存する非マルコフ的コスト関数を、モデルはどの程度正しく学習できるか？
• RQ3 ニューラルネットワークとモデルベースの事前知識を組み合わせることで、予測性能はどの程度向上するか？
• RQ4 本手法は、シーンの文脈と動的制約を自然に統合できるか？
• RQ5 既存のモデルフリーおよびモデルベースのベースラインと比較して、本手法はどのように優れているか？

主な発見

• 構造的事前知識とニューラル拡張コスト関数を活用することで、本手法は最先端の軌道予測精度を達成した。
• ランジエビン標本化により、動的制約を満たしながら実行可能制御シーケンスを直接生成可能となった。
• 全軌道に依存する高次の非マルコフ的コスト関数を効果的に学習し、予測の忠実性が向上した。
• ニューラル拡張コスト関数は、従来の特徴ベース関数を上回り、複雑な運転行動を捉える能力に優れた。
• シーンの文脈と運動学的制約を自然に統合でき、より現実的で安全な軌道予測が可能になった。
• 特に協調的・競合的相互作用が複雑に絡む環境において、従来の逆最適制御手法に比べてより柔軟な性能を示した。