[論文レビュー] Human Trajectory Prediction via Counterfactual Analysis

Guangyi Chen, Junlong Li+2 more|arXiv (Cornell University)|Jul 29, 2021

Autonomous Vehicle Technology and Safety参考文献 53被引用数 6

ひとこと要約

本論文は、過去の軌道特徴を反事実的バージョン（例：等速直線運動）に置き換え、その結果得られる予測との差分を計算することで、訓練環境のバイアスに過剰適合することを防ぎ、実用環境でのバイアスを軽減する、プラグアンドプレイ式の反事実的分析モジュールを提案する。この手法により、トレーニング環境のバイアスに過剰に適合するのを抑制し、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Forecasting human trajectories in complex dynamic environments plays a critical role in autonomous vehicles and intelligent robots. Most existing methods learn to predict future trajectories by behavior clues from history trajectories and interaction clues from environments. However, the inherent bias between training and deployment environments is ignored. Hence, we propose a counterfactual analysis method for human trajectory prediction to investigate the causality between the predicted trajectories and input clues and alleviate the negative effects brought by environment bias. We first build a causal graph for trajectory forecasting with history trajectory, future trajectory, and the environment interactions. Then, we cut off the inference from environment to trajectory by constructing the counterfactual intervention on the trajectory itself. Finally, we compare the factual and counterfactual trajectory clues to alleviate the effects of environment bias and highlight the trajectory clues. Our counterfactual analysis is a plug-and-play module that can be applied to any baseline prediction methods including RNN- and CNN-based ones. We show that our method achieves consistent improvement for different baselines and obtains the state-of-the-art results on public pedestrian trajectory forecasting benchmarks.

研究の動機と目的

• トレーニング環境と実用環境の分布シフトが引き起こす軌道予測の一般化ギャップを解消すること。
• 過去の軌道と将来の予測の間の因果関係を解明し、本物の行動的兆候と誤った環境的相関を分離すること。
• 既存の軌道予測モデルにアーキテクチャの変更を加えずに統合可能な、プラグアンドプレイモジュールを開発すること。
• 環境バイアスに過剰適合するのを防ぐことで、実世界の自律システムにおける軌道予測の耐障害性と信頼性を向上させること。

提案手法

• 過去の軌道（X）、環境との相互作用（E）、将来の軌道（Y）をノードとする因果グラフを構築し、因果的依存関係をモデル化する。
• 過去の軌道特徴を合成された反事実的（例：ゼロ、平均、ランダムなベクトル）に置き換えることで、E→Xの依存関係を断ち切る反事実的介入を実行する。
• 事実的予測と反事実的予測の差分として因果関係に配慮した予測を計算することで、歴史的行動の真の因果的効果を分離する。
• 再トレーニングを伴わず、RNNベース（例：STGAT）およびCNNベース（例：Social-STGCNN）のベースラインに、モジュールとして適用可能である。
• 等速直線運動または平均軌道を反事実的として使用し、妥当な代替行動を模倣する。
• 推論の安定性を確保するため、テスト時に確率分布の期待値（ゼロ）を用いることで、実用環境でのバイアスを回避する。

実験結果

リサーチクエスチョン

• RQ1 反事実的介入は、異なる環境間で軌道予測の一般化性をどのように向上させるか？
• RQ2 反事実的分析は、軌道予測における誤った環境的相関への過剰適合をどの程度低減できるか？
• RQ3 アーキテクチャの変更なしに、多様なベースラインモデル（RNNおよびCNNベース）を一貫して改善できるか？
• RQ4 ゼロ、平均、ランダムといった異なる反事実的実装は、トレーニングおよび実用環境の設定変化に対してどの程度頑健か？
• RQ5 環境バイアスが従来のモデルを誤導する複雑なシナリオにおいて、本手法は予測の信頼性を向上させるか？

主な発見

• 提案手法は、公開の歩行者軌道予測ベンチマークで最先端の性能を達成し、既存手法を上回る。
• ゼロ、平均、ランダムのすべての反事実的実装が、複数のベースラインで一貫した改善をもたらし、本手法の頑健性を示している。
• 「ゼロ」反事実的実装が他の手法よりもわずかに優れた性能を示しており、これは誤った環境的依存関係をより強く遮断しているためと推測される。
• 事実的および反事実的ブランチ間ですべてのパラメータを共有するため、パラメータの追加コストは無視できるほど小さい。
• 推論速度は追加計算のためわずかに低下するが、反事実的処理に使用されるネットワークの一部のみであるため、コストは軽微である。
• 定性的な結果から、因果関係に配慮した予測は、実際の行動パターン（例：グループ移動）をよりよく捉えており、環境バイアスに起因する誤った予測（例：群衆における強制的収束）を回避していることがわかる。