[論文レビュー] PRANK: motion Prediction based on RANKing

Yuriy Biktairov, Maxim Stebelev+3 more|arXiv (Cornell University)|Oct 22, 2020

Autonomous Vehicle Technology and Safety参考文献 26被引用数 8

ひとこと要約

PRANK は自律走行車両向けのリアルタイムモーション予測手法であり、事前に構築された軌道バンクと潜在軌道空間内での近似最近傍探索を用いて、マルチモーダルな未来の軌道を効率的にモデル化する。シーン符号化とランクベースの軌道選択を組み合わせることで、Argoverse および社内データセットにおいて競争力のある性能を達成し、物理的に妥当な予測と低遅延推論を保証する。

ABSTRACT

Predicting the motion of agents such as pedestrians or human-driven vehicles is one of the most critical problems in the autonomous driving domain. The overall safety of driving and the comfort of a passenger directly depend on its successful solution. The motion prediction problem also remains one of the most challenging problems in autonomous driving engineering, mainly due to high variance of the possible agent's future behavior given a situation. The two phenomena responsible for the said variance are the multimodality caused by the uncertainty of the agent's intent (e.g., turn right or move forward) and uncertainty in the realization of a given intent (e.g., which lane to turn into). To be useful within a real-time autonomous driving pipeline, a motion prediction system must provide efficient ways to describe and quantify this uncertainty, such as computing posterior modes and their probabilities or estimating density at the point corresponding to a given trajectory. It also should not put substantial density on physically impossible trajectories, as they can confuse the system processing the predictions. In this paper, we introduce the PRANK method, which satisfies these requirements. PRANK takes rasterized bird-eye images of agent's surroundings as an input and extracts features of the scene with a convolutional neural network. It then produces the conditional distribution of agent's trajectories plausible in the given scene. The key contribution of PRANK is a way to represent that distribution using nearest-neighbor methods in latent trajectory space, which allows for efficient inference in real time. We evaluate PRANK on the in-house and Argoverse datasets, where it shows competitive results.

研究の動機と目的

• 意思決定の曖昧さと実行の不確実性により、未来の行動が多様化する自律走行車両におけるマルチモーダルかつ不確実なエージェントモーション予測の課題に対処すること。
• 不確実性を効率的にモデル化し、高い確率の軌道とその確率への迅速なアクセスを提供するリアルタイムのモーション予測システムの開発。
• 物理的に不実現な軌道を回避することで、予測が後続の計画モジュールを誤導するのを防ぐ。
• 大部分の計算を事前処理に移譲することで、生産環境の自律走行パイプラインに適した低遅延推論を実現すること。
• メトリクス学習と近似最近傍探索を活用することで、複雑な生成モデルの代替としてスケーラブルかつ効率的な手法を提供すること。

提案手法

• 未来のエージェント軌道を、実世界のエージェント移動観測から事前に学習された固定の軌道バンク上の確率分布として表現する。
• ラスタライズド・ビューアイズ画像を用いて畳み込みニューラルネットワークでシーンを符号化し、シーン埋め込みを生成する。
• 学習されたメトリクスを用いて、シーン埋め込みと軌道バンクのエントリを共通の潜在空間にマップし、有効な類似度計算を可能にする。
• 潜在空間内で近似最近傍（ANN）探索を実行し、シーンの文脈に基づいてバンク内から最も関連性の高い軌道を検索する。
• 検索された軌道を用いて事後モード、確率、密度推定値を計算し、効率的なマルチモーダル予測を実現する。
• モンテカルロサンプリングやモード集約を用いた後処理により、不確実性の定量化を伴う最終予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 事前に構築された軌道バンクと最近傍探索を用いたランクベースのアプローチは、リアルタイム推論を実現しつつ、競争力のあるモーション予測性能を達成できるか？
• RQ2 学習された潜在空間内での近似最近傍探索は、マルチモーダルかつ物理的に妥当な未来の軌道をどの程度効果的にモデル化できるか？
• RQ3 精度と遅延の観点から、最先端の生成モデルと比較して、この手法はどの程度優れているか、または同等の性能を示すか？
• RQ4 軌道バンクが1地域のデータで学習され、別の地域でテストされた場合、分布シフトにどの程度耐えられるか？
• RQ5 シーンの文脈に基づいて軌道選択を精緻化することで、シーン固有の制約を統合できるか？

主な発見

• PRANK は、2020年6月のArgoverseモーション予測チャレンジで上位3位を達成し、ADE@1 が 1.298 ± 0.001、FDE@1 が 1.298 ± 0.001 を記録したが、競技特化のチューニングは一切施していない。
• シンプルなシーン表現を使用しても、VectorNet や uulm-mrm のエントリを上回る性能を示しており、ランクベースのアプローチの有効性を裏付けた。
• 社内データセットから得た軌道バンクをArgoverseで使用しても性能向上が見られず、道路レイアウトや行動パターンの地域的差異に起因する分布シフトの影響が示唆された。
• 1つのGPUとCPUコアで5エージェントの推論遅延が200ms未満であり、シーン符号化が主なボトル neck であった。50エージェントでは特徴マップの共有によりコストを削減し、品質損失を最小限に抑えた。
• ランク付けと後処理ステップの推論時間は非常に低く、150件の結果に対して3ms未満であったため、リアルタイムデプロイメントに適している。
• 現実的でデータ駆動型の軌道バンクに依存することで、物理的に不実現な軌道の予測を効果的に回避し、後続の計画モジュールにおけるロバスト性を向上させた。