[논문 리뷰] Human Trajectory Prediction via Counterfactual Analysis

Guangyi Chen, Junlong Li외 2명|arXiv (Cornell University)|2021. 07. 29.

Autonomous Vehicle Technology and Safety참고 문헌 53인용 수 6

한 줄 요약

이 논문은 훈련 환경의 편향을 줄이기 위해 과거 궤적의 인과적 영향을 잡음 환경 상호작용과 분리함으로써 배포 시 편향을 완화하는 플러그 앤 플레이 역행 분석 모듈을 제안한다. 과거 궤적 특징을 가짜(예: 등속 직선 운동)로 대체하고 그로 인한 예측을 빼는 방식으로, 훈련 환경의 편향에 대한 과적합을 줄이며 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Forecasting human trajectories in complex dynamic environments plays a critical role in autonomous vehicles and intelligent robots. Most existing methods learn to predict future trajectories by behavior clues from history trajectories and interaction clues from environments. However, the inherent bias between training and deployment environments is ignored. Hence, we propose a counterfactual analysis method for human trajectory prediction to investigate the causality between the predicted trajectories and input clues and alleviate the negative effects brought by environment bias. We first build a causal graph for trajectory forecasting with history trajectory, future trajectory, and the environment interactions. Then, we cut off the inference from environment to trajectory by constructing the counterfactual intervention on the trajectory itself. Finally, we compare the factual and counterfactual trajectory clues to alleviate the effects of environment bias and highlight the trajectory clues. Our counterfactual analysis is a plug-and-play module that can be applied to any baseline prediction methods including RNN- and CNN-based ones. We show that our method achieves consistent improvement for different baselines and obtains the state-of-the-art results on public pedestrian trajectory forecasting benchmarks.

연구 동기 및 목표

• 훈련 환경과 배포 환경 간의 분포 이탈로 인한 인간 궤적 예측의 일반화 갭을 해소하기 위해.
• 과거 궤적과 미래 예측 간의 인과관계를 조사하여 실제 행동적 신호와 허위 환경 상관관계를 분리하기 위해.
• 기존 궤적 예측 모델에 아키텍처 변경 없이도 적용 가능한 플러그 앤 플레이 모듈을 개발하기 위해.
• 편향된 환경 상호작용에 과적합하는 것을 방지함으로써 실세계 자율 시스템에서 궤적 예측의 강건성과 신뢰성을 향상시키기 위해.

제안 방법

• 과거 궤적(X), 환경 상호작용(E), 미래 궤적(Y)을 노드로 하는 인과 그래프를 구성하여 인과적 의존성을 모델링한다.
• 과거 궤적 특징을 합성된 가짜(예: 0, 평균, 무작위 벡터)로 대체하여 E→X 의존성을 끊는 역행 간섭을 수행한다.
• 사실 기반 및 가짜 기반 예측의 차이를 계산함으로써 진정한 과거 행동의 인과적 영향을 분리한다.
• 재훈련 없이도 RNN 기반(예: STGAT) 및 CNN 기반(예: Social-STGCNN) 기준 모델에 플러그인 모듈로 적용한다.
• 등속 직선 운동 또는 평균 궤적을 가짜로 사용하여 가능한 대체 행동을 시뮬레이션한다.
• 테스트 시 랜덤 분포의 기대값(0)을 사용하여 추론의 안정성을 확보함으로써, 운영 시 편향을 방지한다.

실험 결과

연구 질문

• RQ1 역행 간섭이 다양한 환경에서 궤적 예측의 일반화 능력을 어떻게 향상시키는가?
• RQ2 역행 분석이 궤적 예측에서 허위 환경 상관관계에 대한 과적합을 어느 정도 줄일 수 있는가?
• RQ3 아키텍처 변경 없이도 다양한 기준 모델(RNN 및 CNN 기반)에 일관되게 성능 향상을 이끌 수 있는 플러그 앤 플레이 역행 모듈은 가능한가?
• RQ4 다양한 훈련 및 배포 설정에서 다양한 역행 구현 방식(0, 평균, 무작위)의 강건성은 어떠한가?
• RQ5 환경 편향이 기존 모델을 잘못 이끄는 복잡한 시나리오에서 이 방법이 예측의 신뢰성을 향상시키는가?

주요 결과

• 제안된 역행 방법은 공개된 보행자 궤적 예측 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법들을 능가한다.
• 0, 평균, 무작위 등 모든 역행 구현 방식이 다수의 기준 모델에서 일관된 성능 향상을 보이며, 이 방법의 강건성을 입증한다.
• 가장 뛰어난 성능을 보인 '0' 역행 방식은 허위 환경 의존성에 더 강하게 간섭함으로써 약간 더 나은 성능을 기록한 것으로 보인다.
• 모든 파rameter가 사실 및 가짜 브랜치 간에 공유되므로, 추가적인 파라미터 오버헤드가 거의 없다.
• 추가 계산으로 인해 약간의 추론 속도 저하가 발생하지만, 가짜 처리에 사용되는 네트워크의 일부만 활용되므로 비용은 매우 낮다.
• 정성적 결과에서 인과적 예측이 실제 행동 패턴(예: 그룹 이동)을 더 잘 포착하고, 환경 편향으로 인한 허위 예측(예: 군중에서의 강제 수렴)을 피하는 것으로 나타났다.