[論文レビュー] Trajectory Forecasting from Detection with Uncertainty-Aware Motion Encoding

Pu Zhang, Lei Bai+4 more|arXiv (Cornell University)|Feb 3, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、トラッキングされた軌跡に依存せず、オブジェクト検出の出力を直接使用する軌跡予測モデルを提案する。アフィニティに敏感な状態更新と複数状態集約を用いた不確実性を考慮したモーション符号化により、ノイズの多い検出結果に対してもロバスト性を向上させる。本手法は、困難な条件下でnuScenes上でのFDEにおいて、既存の検出ベースおよびトラッキング・予測統合手法を最大25%上回る最先端の性能を達成した。

ABSTRACT

Trajectory forecasting is critical for autonomous platforms to make safe planning and actions. Currently, most trajectory forecasting methods assume that object trajectories have been extracted and directly develop trajectory predictors based on the ground truth trajectories. However, this assumption does not hold in practical situations. Trajectories obtained from object detection and tracking are inevitably noisy, which could cause serious forecasting errors to predictors built on ground truth trajectories. In this paper, we propose a trajectory predictor directly based on detection results without relying on explicitly formed trajectories. Different from the traditional methods which encode the motion cue of an agent based on its clearly defined trajectory, we extract the motion information only based on the affinity cues among detection results, in which an affinity-aware state update mechanism is designed to take the uncertainty of association into account. In addition, considering that there could be multiple plausible matching candidates, we aggregate the states of them. This design relaxes the undesirable effect of noisy trajectory obtained from data association. Extensive ablation experiments validate the effectiveness of our method and its generalization ability on different detectors. Cross-comparison to other forecasting schemes further proves the superiority of our method. Code will be released upon acceptance.

研究の動機と目的

• グランドトゥルースまたはトラッキングされた軌跡に依存する既存の軌跡予測手法の限界、特に検出およびトラッキングのノイズによる汚損を是正すること。
• 明示的な軌跡が不要な状態で、検出結果を直接入力として使用する予測モデルの開発。
• データ関連の不確実性をモデル化し、誤ったデータ関連がモーション符号化に与える影響を低減すること。
• 複数の妥当な検出候補からの特徴を集約することでモーション表現を強化し、局所化のずれや誤検出に対するロバスト性を向上させること。
• 異なるオブジェクト検出器に対して一般化可能であり、現実世界の検出ノイズ下でも性能を維持すること。

提案手法

• 検出結果間の動きに敏感なアフィニティスコアを用いて、関連の不確実性を代理として使用するアフィニティに敏感な状態更新（ASU）機構を導入し、モーション符号化における状態更新を制御する。
• 各時刻で複数の妥当な検出候補からの特徴を集約する複数状態集約（MSA）を採用し、単一の誤差に依存する感度を低減する。
• 長期的な動きの手がかりを活用して、検出結果間の一致信頼度を計算する動きに敏感なアフィニティ測定モジュールを設計し、データ関連の不確実性を反映する。
• アフィニティ測定、不確実性を考慮したモーション符号化（ASUおよびMSAを用いる）、および軌跡デコードの3つのモジュールを統合したフレームワークを構築し、すべてを検出結果に対して直接処理する。
• 明示的なトラッキングを必要とせず、時系列的にリンクされた検出結果（暗黙の軌跡）を用いてエージェントの運動を表現し、誤ったトラッキングパスに依存しない。
• 異なる検出候補の寄与度を重みづける学習可能なアテンション機構（SIM関数）を適用し、誤検出に対するロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 明示的なトラッキング軌跡に依存せずに、検出結果から効果的に軌跡予測が行えるか？
• RQ2 検出結果間の関連の不確実性をどのようにモデル化し、モーション符号化に統合することで予測のロバスト性を向上させられるか？
• RQ3 複数の妥当な検出候補を効果的に集約することで、モーション表現を強化し、ノイズの多い検出結果への感受性を低減できるか？
• RQ4 提案手法は異なるオブジェクト検出器に対して一般化可能であり、既存の検出ベースおよびトラッキング・予測統合アプローチを上回る性能を示すか？
• RQ5 不確実性と複数候補の統合により、誤検出や局所化のずれが軌跡予測に与える影響をどの程度軽減できるか？

主な発見

• FreeAnchor検出器を組み合わせた場合、nuScenesデータセットにおけるFDE@3sは93.4を達成し、同じ評価プロトコル下でPTP（122.7）およびPnPNet（96）を上回った。
• CentrNet検出器を用いた場合、FDE@3sは97.7を達成し、異なる検出バックボーンに対して強い一般化性能を示した。
• PTPと比較して予測誤差を最大25%まで低減し、PnPNetなどの最先端のトラッキング・予測統合モデルでさえも上回る性能を示した。
• ASUおよびMSA機構は顕著なロバスト性向上をもたらした：ベースライン手法が失敗する誤検出に対しても、周囲の動きの手がかりを活用して正しく軌跡を予測できた。
• アブレーションスタディにより、ASUおよびMSAの両方が性能向上に独立して寄与することが確認され、特に最後のフレームでの信頼性の低い検出結果の処理においてASUが顕著に有効であった。
• CarおよびVehicleクラスの両方で高い性能を維持し、Setting 2ではFDE@3sがそれぞれ104.1および105.1を記録し、オブジェクトカテゴリを問わず一貫した優位性を示した。