[論文レビュー] Reciprocal Learning Networks for Human Trajectory Prediction

Hao Sun, Zhiqun Zhao+1 more|arXiv (Cornell University)|Apr 9, 2020

Anomaly Detection Techniques and Applications参考文献 39被引用数 5

ひとこと要約

本論文では、将来の軌跡と再構築された過去の軌跡の整合性を保証するため、前向き予測ネットワークと後向き予測ネットワークを同時に学習する相互学習制約の下で、人間の軌跡予測のための相互学習ネットワーク（RLN）を提案する。この手法はさらに、予測を精緻化するための敵対的スタイルの相互攻撃を統合し、ETH、ZARA、HOTELデータセットで最先端の性能を達成し、ADEおよびFDE指標において顕著な向上を示した。

ABSTRACT

We observe that the human trajectory is not only forward predictable, but also backward predictable. Both forward and backward trajectories follow the same social norms and obey the same physical constraints with the only difference in their time directions. Based on this unique property, we develop a new approach, called reciprocal learning, for human trajectory prediction. Two networks, forward and backward prediction networks, are tightly coupled, satisfying the reciprocal constraint, which allows them to be jointly learned. Based on this constraint, we borrow the concept of adversarial attacks of deep neural networks, which iteratively modifies the input of the network to match the given or forced network output, and develop a new method for network prediction, called reciprocal attack for matched prediction. It further improves the prediction accuracy. Our experimental results on benchmark datasets demonstrate that our new method outperforms the state-of-the-art methods for human trajectory prediction.

研究の動機と目的

• 複雑な環境における社会的・物理的制約を伴う短時間の人的軌跡予測の正確性を向上させる挑戦に応えること。
• 前向きと後向きの人的運動軌跡の対称性を活用し、相互一貫性を用いて学習を改善すること。
• 前向きおよび後向き予測ネットワークを相互制約の下で同時に最適化する、新しい学習パラダイムを開発すること。
• 敵対的攻撃の原則を軌跡精緻化に統合することで、予測のロバスト性と正確性を向上させること。
• 標準ベンチマークデータセットにおいて、既存の最先端手法を上回る優れた性能を示すこと。

提案手法

• 本手法は、相互に密接に結合された2つの深層ニューラルネットワーク、すなわち前向き予測ネットワーク Fθ と後向き予測ネットワーク Gϕ を採用し、相互制約の下で学習させる。
• 相互制約は、Fθ(X) = Y ならば Gϕ(Y) ≈ X となるように制約を課し、予測された将来の軌跡と、それから再構築された過去の軌跡の整合性を保証する。
• 両ネットワークを同時に最適化するための相互学習損失を導入し、元の過去の軌跡と後向き再構築軌跡の差を最小化することで実現する。
• 相互攻撃メカニズムは、予測された将来の軌跡を繰り返し変更することで、後向き予測制約を満たすようにし、敵対的スタイルの摂動によって予測を精緻化する。
• 3次元深度マップ特徴を統合することで、シーンの文脈理解を向上させ、予測の物理的妥当性を高める。
• 相互一貫性と軌跡予測損失を組み合わせた共同最適化目的関数を用いて、エンド・トゥ・エンドでフレームワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 前向きと後向きの人間の運動軌跡の相互一貫性を活用することで、予測の正確性を向上させることができるか？
• RQ2 前向きおよび後向き予測ネットワークの共同学習は、軌跡予測における一般化性とロバスト性にどのように影響するか？
• RQ3 敵対的スタイルの反復的精緻化（相互攻撃）により、一貫性を強制することで、さらに予測品質が向上するか？
• RQ4 深度マップ特徴と相互学習は、ベンチマークデータセットにおける性能向上にどの程度寄与するか？
• RQ5 提案手法は、ADEおよびFDE指標において、既存の最先端手法を上回っているか？

主な発見

• 提案された相互学習ネットワークは、ETH、HOTEL、UNIV、ZARA1、ZARA2のベンチマークデータセットで最先端の性能を達成し、ADEおよびFDE指標の両方で既存手法を上回った。
• アブレーションスタディの結果、相互学習、深度マップ特徴、相互攻撃の各コンponentが全体の性能向上に顕著に寄与していることが確認された。
• 相互学習制約により、トレーニング中に予測された将来の軌跡と再構築された過去の軌跡の整合性が強制され、予測誤差が低減された。
• 相互攻撃メカニズムにより、後向き予測制約を満たすように繰り返し予測軌跡を精緻化することで、予測の正確性が向上した。
• 3次元深度マップ特徴の統合により、歩道や障害物などの環境制約をより適切に反映できるようになり、物理的に妥当な予測が可能になった。
• 定性的な結果から、人間同士の相互作用や障害物回避を含む複雑なシナリオに対しても、モデルの一般化性能が高く、失敗ケースでさえも合理的な迂回経路を予測していることが示された。