[論文レビュー] Integrating kinematics and environment context into deep inverse reinforcement learning for predicting off-road vehicle trajectories

Yanfu Zhang, Wenshan Wang+3 more|arXiv (Cornell University)|Oct 16, 2018

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本稿では、走行車両の運動状態とLiDARに基づく環境的文脈を統合的にモデル化することで、非舗装路における車両軌道を予測する2段階のディープ逆強化学習フレームワークを提案する。特徴抽出段階で運動状態を統合することで、状態空間への組み込みに起因する指数的複雑性の増大を回避し、EKF、行動クラーニング、運動状態無視型IRLよりも優れた性能を達成した。30 kmの非舗装路データセット上で、交差点におけるマルチモーダル行動と速度依存の運動パターンを捉えることに成功した。

ABSTRACT

Predicting the motion of a mobile agent from a third-person perspective is an important component for many robotics applications, such as autonomous navigation and tracking. With accurate motion prediction of other agents, robots can plan for more intelligent behaviors to achieve specified objectives, instead of acting in a purely reactive way. Previous work addresses motion prediction by either only filtering kinematics, or using hand-designed and learned representations of the environment. Instead of separating kinematic and environmental context, we propose a novel approach to integrate both into an inverse reinforcement learning (IRL) framework for trajectory prediction. Instead of exponentially increasing the state-space complexity with kinematics, we propose a two-stage neural network architecture that considers motion and environment together to recover the reward function. The first-stage network learns feature representations of the environment using low-level LiDAR statistics and the second-stage network combines those learned features with kinematics data. We collected over 30 km of off-road driving data and validated experimentally that our method can effectively extract useful environmental and kinematic features. We generate accurate predictions of the distribution of future trajectories of the vehicle, encoding complex behaviors such as multi-modal distributions at road intersections, and even show different predictions at the same intersection depending on the vehicle's speed.

研究の動機と目的

• 運動状態と環境を別々に扱う従来の予測手法の限界を是正し、エージェント行動の不完全なモデル化を回避すること。
• 逆強化学習に運動状態を統合する際の指数的増大する状態空間の複雑性を、特徴抽出段階での運動状態特徴の統合によって軽減すること。
• 動的運動と環境的文脈を同時にモデル化することで、非舗装路自動走行における予測の汎化性と精度を向上させること。
• 多様な地形と複雑な行動を有する実世界の非舗装走行データセット上で、提案手法の有効性を実証すること。

提案手法

• 2段階のニューラルネットワークを採用：1段階目は低レベルのLiDAR統計を処理し、通れるレールの状態や障害物の有無といった環境特徴を抽出する。
• 2段階目は、学習済みの環境特徴と固定時間窓内の過去の運動状態（位置、速度、姿勢）を統合し、将来の軌道分布を予測する。
• 専門家の走行デモンストレーションを解釈する報酬関数を回復するため、逆強化学習を採用し、複雑でマルチモーダルな行動を推論可能にする。
• アブレーションスタディでは、LiDAR入力を定数に置き換えることで、環境的文脈が予測精度に与える寄与を分離する。
• 実際の非舗装走行から収集した専門家軌道データを用いて、ネガティブ・ログリクレータス（NLL）とハウスドルフ距離（HD）を評価指標として用い、エンドツーエンドでモデルを学習する。
• 特徴抽出に残差ネットワーク（ResNet）を採用し、マルチモーダルな軌道分布を出力する確率的デコーダーを用いる。

実験結果

リサーチクエスチョン

• RQ1 運動状態と環境的文脈を統合的なディープIRLフレームワークで統合することで、それらを別々に扱う手法と比較して、軌道予測精度が向上するか？
• RQ2 状態空間ではなく特徴抽出段階で運動状態をモデル化することで、高次元の運動状態に起因する指数的複雑性が緩和されるか？
• RQ3 速度と環境的文脈が、非舗装路の交差点における予測軌道のマルチモーダル性にどのように寄与するか？
• RQ4 運動状態的文脈が欠落している場合、開放的かつ制約のない環境で予測性能がどの程度劣化するか？
• RQ5 モデルは、速度依存の不確実性コーンを有する前向き運動モデルを学習でき、現実的な車両動的特性を反映するか？

主な発見

• 提案手法はテストセットで最小のNLL（0.69）とHD（6.71）を達成し、EKF（NLL: N.A., HD: 9.12）、行動クラーニング（NLL: 0.87, HD: 10.54）、運動状態無視型ディープIRL（NLL: 1.33, HD: 25.46）を上回った。
• 交差点では、低速走行時において不確実性が高く、複数の妥当な経路が予測されたマルチモーダルな軌道を生成した。一方、高速走行時ではより決定的で直進的な予測が得られた。
• アブレーションスタディの結果、運動状態特徴を除去すると、開放地帯では予測がぼやけ、極めて不確実な状態となり、方向性の意図が欠落していた。
• 1段階目のネットワークは、走行可能なレール領域とLiDAR統計を適切に符号化しており、特徴マップではレール部に濃い活性化、障害物部に疎なパターンが観察された。
• 2段階目のネットワークは、車両の進行方向に一致する不確実性コーンを持つ前向き運動モデルを学習し、その幅が速度に応じて変化するようになっていた。これは現実的な動的不確実性を反映していた。
• LiDAR入力を定数に置き換えた場合、予測品質が著しく低下した。これは、環境的文脈が行動を規定する上で極めて重要な役割を果たしていることを示している。