[論文レビュー] Forecasting Human Trajectory from Scene History

Mancheng Meng, Ziyan Wu+5 more|arXiv (Cornell University)|Oct 17, 2022

Video Surveillance and Tracking Methods被引用数 13

ひとこと要約

本論文は、グループ軌跡バンクとクロスモード相互作用モジュールを用いて、シーンの履歴である歴史的グループ軌跡および個々の周囲環境との相互作用を活用する、SHENetと呼ばれる新しい人間の軌跡予測フレームワークを提案する。この手法は、ETH、UCY、および新しいベンチマークPAVで最先端の性能を達成し、PETSではYNetに対してFDEで16.2%の向上を示す。さらに、曲線スムージングを導入することで、人間の運動のランダム性や主観性への感受性を低減する。

ABSTRACT

Predicting the future trajectory of a person remains a challenging problem, due to randomness and subjectivity of human movement. However, the moving patterns of human in a constrained scenario typically conform to a limited number of regularities to a certain extent, because of the scenario restrictions and person-person or person-object interactivity. Thus, an individual person in this scenario should follow one of the regularities as well. In other words, a person's subsequent trajectory has likely been traveled by others. Based on this hypothesis, we propose to forecast a person's future trajectory by learning from the implicit scene regularities. We call the regularities, inherently derived from the past dynamics of the people and the environment in the scene, scene history. We categorize scene history information into two types: historical group trajectory and individual-surroundings interaction. To exploit these two types of information for trajectory prediction, we propose a novel framework Scene History Excavating Network (SHENet), where the scene history is leveraged in a simple yet effective approach. In particular, we design two components: the group trajectory bank module to extract representative group trajectories as the candidate for future path, and the cross-modal interaction module to model the interaction between individual past trajectory and its surroundings for trajectory refinement. In addition, to mitigate the uncertainty in ground-truth trajectory, caused by the aforementioned randomness and subjectivity of human movement, we propose to include smoothness into the training process and evaluation metrics. We conduct extensive evaluations to validate the efficacy of our proposed framework on ETH, UCY, as well as a new, challenging benchmark dataset PAV, demonstrating superior performance compared to state-of-the-art methods.

研究の動機と目的

• 人間の運動におけるランダム性と主観性の課題に対処する。
• 特に、歴史的グループ軌跡と個々の周囲環境との相互作用を含むシーン履歴を活用して、予測の信頼性を向上させる。
• 多様で複雑な現実世界のシナリオに一般化しやすいフレームワークを開発する。
• 人間の運動のばらつきによって生じる真値軌跡の不確実性を軽減する。
• 新しいベンチマークデータセット（PAV）と、軌跡の滑らかさを考慮した新たな評価指標（CS-ADE、CS-FDE）を導入する。

提案手法

• グループ軌跡バンク（GTB）モジュールを導入し、歴史的個々の軌跡を代表するグループ軌跡にクラスタリングすることで、候補パスの検索を実現する。
• クロスモード相互作用（CMI）モジュールは、クロスモードトランスフォーマーを用いて、個々の過去の軌跡と環境的文脈との相互作用をモデル化し、軌跡の精緻化を図る。
• 訓練および評価の両方の段階に曲線スムージング（CS）を組み込み、人間の運動の急激な変化やノイズへの感受性を低減する。
• シーン履歴は2種類に分類される：歴史的グループ軌跡（HGT）と個々の周囲環境との相互作用（ISI）で、両者を統合的に活用して予測を実施する。
• GTBモジュールは、Kメディオイドクラスタリングを用い、収束する訓練誤差に基づいて、適応的しきい値θを用いて軌跡バンクを更新する。
• より滑らかな予測軌跡を促進するため、新たな損失関数であるCS損失ℒ_csを導入し、運動の主観性へのロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 制限された環境下で、特に歴史的グループ軌跡を効果的に活用することで、人間の軌跡予測の性能を向上させることができるか？
• RQ2 個々の周囲環境との相互作用をどのようにモデル化すれば、個々の運動パターンを超えた軌跡予測を精緻化できるか？
• RQ3 訓練および評価に曲線スムージングを組み込むことで、人間の運動のランダム性や主観性への影響をどの程度低減できるか？
• RQ4 提案されたSHENetフレームワークは、最先端の手法と比較して、多様で複雑な現実世界のシナリオにどの程度一般化できるか？
• RQ5 クラスタ数や更新しきい値の違いが、軌跡バンクの性能と安定性に与える影響は何か？

主な発見

• SHENetはETHおよびUCYベンチマークで最先端の性能を達成し、ADEおよびFDEの両指標で、既存手法を上回る。
• 新しいPAVベンチマークでは、YNetに対してFDEで16.2%の向上を示し、複雑で挑戦的なシーンにおける優れた一般化性能を示している。
• 曲線スムージング（CS）の導入により、特に急激な変化やノイズを含む運動において、予測品質が顕著に向上していることが、定性的な比較で確認された。
• K=32クラスタを用いたGTBモジュールが最適な性能を発揮し、初期クラスタ数（K=24–36）の変動に対してもロバストであることが判明した。
• PETSではθ=25、ADLではθ=6を設定し、収束した訓練誤差の75%に相当する値として、効果的な軌跡バンクの更新が可能となった。
• 定性的な結果から、SHENetは急な旋回などの複雑な行動を的確に予測しているのに対し、他の手法は失敗していることが示され、グループ軌跡の検索による利点が顕著に現れている。