[논문 리뷰] Reciprocal Learning Networks for Human Trajectory Prediction

Hao Sun, Zhiqun Zhao외 1명|arXiv (Cornell University)|2020. 04. 09.

Anomaly Detection Techniques and Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 상호작용 제약 조건 하에 앞으로와 뒤로 예측 네트워크를 함께 훈련시켜 예측된 미래 궤적과 재구성된 과거 궤적 간 일관성을 확보함으로써 인간 궤적 예측을 위한 상호학습 네트워크(Reciprocal Learning Networks, RLN)를 제안한다. 이 방법은 또한 예측을 정교화하기 위해 적대적 스타일의 상호 공격을 통합하여 기준 데이터셋에서 ADE 및 FDE 지표에서 뚜렷한 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We observe that the human trajectory is not only forward predictable, but also backward predictable. Both forward and backward trajectories follow the same social norms and obey the same physical constraints with the only difference in their time directions. Based on this unique property, we develop a new approach, called reciprocal learning, for human trajectory prediction. Two networks, forward and backward prediction networks, are tightly coupled, satisfying the reciprocal constraint, which allows them to be jointly learned. Based on this constraint, we borrow the concept of adversarial attacks of deep neural networks, which iteratively modifies the input of the network to match the given or forced network output, and develop a new method for network prediction, called reciprocal attack for matched prediction. It further improves the prediction accuracy. Our experimental results on benchmark datasets demonstrate that our new method outperforms the state-of-the-art methods for human trajectory prediction.

연구 동기 및 목표

• 복잡한 환경에서 사회적 및 물리적 제약 조건이 존재하는 상황에서 정확한 단기 인간 궤적 예측 문제를 해결하기 위해.
• 앞으로와 뒤로의 인간 운동 궤적 간 대칭성을 활용하여 상호 일관성을 통해 학습을 향상시키기 위해.
• 상호 제약 조건 하에 앞으로와 뒤로 예측 네트워크를 함께 최적화하는 새로운 훈련 프레임워크를 개발하기 위해.
• 궤적 정교화에 적대적 공격 원리를 통합하여 예측의 강인성과 정확도를 향상시키기 위해.
• 기존 최신 기술 수준의 방법들에 비해 표준 기준 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 상호작용 제약 조건 하에 훈련되는 두 개의 밀접하게 연결된 딥 네트워크인 앞으로 예측 네트워크 Fθ와 뒤로 예측 네트워크 Gϕ를 사용한다.
• 상호 제약 조건은 Fθ(X) = Y이면 Gϕ(Y) ≈ X가 되도록 보장하여 예측된 미래 궤적에서 재구성된 과거 궤적 간 일관성을 확보한다.
• 원래 과거 궤적과 뒤로 재구성된 궤적 간 차이를 최소화함으로써 양 네트워크를 함께 최적화하기 위한 상호학습 손실을 도입한다.
• 예측된 미래 궤적을 반복적으로 수정하여 뒤로 예측 제약 조건을 만족시키는 상호 공격 메커니즘을 통해 적대적 스타일의 변형을 통해 예측을 정교화한다.
• 예측의 물리적 타당성을 향상시키고 장면의 맥락 이해를 개선하기 위해 3D 깊이 맵 특징을 통합한다.
• 상호 일관성과 궤적 예측 손실을 조합한 공동 최적화 목표를 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 앞으로와 뒤로의 인간 운동 궤적 간 상호 일관성을 활용하여 예측 정확도를 향상시킬 수 있는가?
• RQ2 앞으로와 뒤로 예측 네트워크를 함께 훈련시키는 것이 궤적 예측의 일반화 능력과 강인성에 어떤 영향을 미치는가?
• RQ3 적대적 스타일의 반복적 정교화(상호 공격)가 일관성을 강제함으로써 예측 품질을 추가로 향상시킬 수 있는가?
• RQ4 깊이 맵 특징과 상호학습이 기준 데이터셋에서의 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법이 ADE 및 FDE 지표에서 기존 최신 기술 수준의 방법들보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 상호학습 네트워크는 ETH, HOTEL, UNIV, ZARA1, ZARA2 기준 데이터셋에서 최신 기술 수준의 성능을 달성하여 ADE 및 FDE 지표에서 모두 이전 방법들을 능가한다.
• 제거 실험을 통해 상호학습, 깊이 맵 특징, 상호 공격 각 요소가 전체 성능 향상에 뚜렷한 기여를 한다고 확인된다.
• 상호학습 제약 조건은 훈련 중 예측된 미래 궤적과 재구성된 과거 궤적 간 일관성을 강제함으로써 예측 오차를 감소시킨다.
• 상호 공격 메커니즘은 뒤로 예측 제약 조건을 만족시키기 위해 예측 궤적을 반복적으로 정교화함으로써 예측 정확도를 향상시킨다.
• 3D 깊이 맵 특징의 통합은 보도 및 장애물과 같은 환경 제약 조건을 존중할 수 있는 능력을 향상시켜 더 물리적으로 타당한 예측을 가능하게 한다.
• 정성적 결과는 인간 간 상호작용 및 장애물 회피와 같은 복잡한 시나리오에서도 모델이 잘 일반화됨을 보여주며, 실패 케이스조차도 합리적인 회피 경로를 예측하는 등 우수한 성능을 보인다.