[論文レビュー] StretchBEV: Stretching Future Instance Prediction Spatially and Temporally

Adil Kaan Akan, Fatma Güney|arXiv (Cornell University)|Mar 25, 2022

Autonomous Vehicle Technology and Safety被引用数 7

ひとこと要約

StretchBEVは、潜在空間における確率的残差更新を通じて時系列依存の動的挙動を学習することにより、長時間にわたる空間的拡張された将来のインスタンス予測を、鳥眼視点（BEV）で向上させる確率的時系列モデルを提案する。各時刻で学習された分布からのサンプリングにより、広範囲の空間的領域および長時間の時間的スパンにおいて多様で正確な予測を生成する。FIERYなど先行手法と比較して、特に困難な遠方領域および長期的シナリオにおいて、精度と多様性の両面で優れている。

ABSTRACT

In self-driving, predicting future in terms of location and motion of all the agents around the vehicle is a crucial requirement for planning. Recently, a new joint formulation of perception and prediction has emerged by fusing rich sensory information perceived from multiple cameras into a compact bird's-eye view representation to perform prediction. However, the quality of future predictions degrades over time while extending to longer time horizons due to multiple plausible predictions. In this work, we address this inherent uncertainty in future predictions with a stochastic temporal model. Our model learns temporal dynamics in a latent space through stochastic residual updates at each time step. By sampling from a learned distribution at each time step, we obtain more diverse future predictions that are also more accurate compared to previous work, especially stretching both spatially further regions in the scene and temporally over longer time horizons. Despite separate processing of each time step, our model is still efficient through decoupling of the learning of dynamics and the generation of future predictions.

研究の動機と目的

• マルチエージェントの運動に内在する不確実性による、長時間にわたる将来予測の品質低下を是正すること。
• 自動運転の文脈における、鳥眼視点（BEV）表現における将来のインスタンス予測の多様性と精度を向上させること。
• 動的挙動の学習と予測生成を分離することで、効率性を維持しつつ高い性能を達成すること。
• 潜在予測からの運動および位置の復元を監視することで、より解釈可能で空間的に拡張された予測を可能にすること。
• 動的挙動学習段階での将来出力モダリティへの条件付けの影響を調査し、性能とラベル依存性のバランスをとること。

提案手法

• モデルは、動的挙動の学習と予測生成の分離を図るため、低次元の潜在空間における確率的残差更新を通じて時系列的挙動を学習する。
• 各時刻で、学習された分布からのサンプリングにより不確実性を伝搬させ、多様な将来予測を可能にする。
• 潜在空間は、事前に訓練されたBEVセグメンテーションモデルが予測する将来フレームのBEV表現と一致するように訓練され、真値のシーン幾何構造と整合性を保つ。
• 教師付きデコーダーにより、潜在予測を解釈可能な将来的なモダリティ（例：エージェントの位置、運動ベクトル）にマッピングする。
• 2つのバリエーションを提案：事後分布に明示的な将来的なモダリティラベルを含める（StretchBEV-P）と含めない（StretchBEV）もので、ラベル依存性を検証する。
• ニューラルODEに類似した残差更新メカニズムを活用し、安定的かつスケーラブルな長時間予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における確率的残差更新は、単一分布モデルを上回る長時間にわたるBEVにおける将来インスタンス予測を改善できるか？
• RQ2 各時刻で学習された分布からのサンプリングは、将来予測の多様性と精度にどのように影響するか？
• RQ3 将来的なモダリティラベルを事後分布に条件付けすることで予測品質がどの程度向上するか、また推論における依存性のトレードオフはいかなるものか？
• RQ4 状態空間モデルは、複雑な時系列的挙動を効率的に学習しながら、長時間にわたるBEV予測において高い精度と多様性を維持できるか？
• RQ5 空間的に遠く離れたエージェントの将来状態予測において、先行手法と比較して本モデルはどの程度の性能を示すか？

主な発見

• StretchBEV-Pは、長時間にわたる予測において、近接領域で一般化エネルギー距離（GED）82.04、遠方領域で109.12を達成し、それぞれFIERYの127.18および152.38を顕著に上回った。
• StretchBEV-Pは2秒の予測時間枠で、セマンティックセグメンテーション予測においてIoU 65.7を達成し、FIERYの58.8および先行手法の44.3を上回った。
• モデルは長時間にわたるスパンでも多様な予測を生成することができ、定性的な結果では、サンプル間で異なる曲がり方や速度調整が観察された。これに対してFIERYは平均予測に収束していた。
• 確率的サンプリングを伴う潜在空間の動的挙動モデルは、自己回帰的生成に依存せず、効率性を保ちながら正確で多様な予測を可能にした。
• 事後分布に条件付けを施したモデル（StretchBEV-P）は、すべての指標で優れた性能を示したが、推論段階で将来的なラベルの可用性に依存する。
• アブレーションスタディにより、事後分布への条件付けが性能を顕著に向上させることを確認した。特に遠方領域および長時間予測の設定で顕著な改善が得られた。