[논문 리뷰] Exploring Social Posterior Collapse in Variational Autoencoder for Interaction Modeling

Chen Tang, Wei Zhan외 1명|arXiv (Cornell University)|2021. 12. 01.

Human Mobility and Location-Based Analysis인용 수 7

한 줄 요약

이 논문은 다중 에이전트 상호작용 모델링을 위한 변분 오토인코더(VAE)에서 궤적 예측 시 역사를 기반으로 한 사회적 맥락을 忽略하는 '사회적 후행 붕괴' 현상을 규명하고 해결책을 제안한다. 저자들은 상호작용의 잠재 공간 모델링을 향상시키기 위해 새로운 스파arsity 그래프 어텐션 메시지 전달(sparse-GAMP) 레이어와 정규화 기법을 제안하며, Argoverse 및 ETH/UCY와 같은 실세계 데이터셋에서 뚜렷한 성능 향상을 입증한다.

ABSTRACT

Multi-agent behavior modeling and trajectory forecasting are crucial for the safe navigation of autonomous agents in interactive scenarios. Variational Autoencoder (VAE) has been widely applied in multi-agent interaction modeling to generate diverse behavior and learn a low-dimensional representation for interacting systems. However, existing literature did not formally discuss if a VAE-based model can properly encode interaction into its latent space. In this work, we argue that one of the typical formulations of VAEs in multi-agent modeling suffers from an issue we refer to as social posterior collapse, i.e., the model is prone to ignoring historical social context when predicting the future trajectory of an agent. It could cause significant prediction errors and poor generalization performance. We analyze the reason behind this under-explored phenomenon and propose several measures to tackle it. Afterward, we implement the proposed framework and experiment on real-world datasets for multi-agent trajectory prediction. In particular, we propose a novel sparse graph attention message-passing (sparse-GAMP) layer, which helps us detect social posterior collapse in our experiments. In the experiments, we verify that social posterior collapse indeed occurs. Also, the proposed measures are effective in alleviating the issue. As a result, the model attains better generalization performance when historical social context is informative for prediction.

연구 동기 및 목표

• 다중 에이전트 상호작용 모델링에서 VAE 기반 모델이 잠재 공간에 사회적 맥락을 올바르게 인코딩하는지 조사하기 위해.
• 예측 과정에서 역동적 상호작용을 忽略하는 '사회적 후행 붕괴' 현상의 규명 및 수식화하기 위해.
• 사회적 후행 붕괴를 완화하는 방법을 개발하고 검증하여 일반화 능력과 예측 정확도 향상시키기 위해.
• 실세계 궤적 예측 벤치마크를 활용해 사회적 후행 붕괴가 모델 성능에 미치는 영향을 평가하기 위해.
• 실제 데이터에서 사회적 후행 붕괴를 탐지하고 분석할 수 있는 새로운 스파arsity-GAMP 레이어 도입하기 위해.

제안 방법

• 기존 문헌에서 흔히 사용되는 다중 에이전트 행동 모델링을 위한 일반적인 VAE 설정을 개괄한다.
• 에이전트 간 메시지 전달을 향상시키고 사회적 후행 붕괴를 탐지하기 위해 새로운 스파arsity 그래프 어텐션 메시지 전달(sparse-GAMP) 레이어를 제안한다.
• 학습 과정에서 사회적 맥락을 忽略하지 않도록 방지하기 위해 정규화 기법을 도입한다.
• 학습 안정화 및 잠재 공간의 분리도 향상을 위해 KL 분해 및 사이클 일致성 손실을 활용한다.
• 다중 모odal 예측을 향상시키기 위해 목표 조건부 잠재 공간을 갖춘 조건부 VAE(CVAE) 프레임워크를 활용한다.
• 두 단계 학습 프로세스를 적용한다: 먼저 sparse-GAMP를 포함한 인코더를 사전 학습하고, 이후 전체 VAE 목표함수로 미세 조정한다.

실험 결과

연구 질문

• RQ1 표준 VAE 설정이 다중 에이전트 상호작용 모델링에 사용될 경우, 잠재 공간이 이전의 사회적 맥락을 인코딩하지 못하는 '사회적 후행 붕괴' 현상에 시달리는가?
• RQ2 VAE 기반 다중 에이전트 궤적 예측 모델에서 사회적 후행 붕괴가 발생하는 근본 원인은 무엇인가?
• RQ3 제안된 sparse-GAMP 레이어가 실세계 데이터셋에서 사회적 후행 붕괴를 효과적으로 탐지하고 분석할 수 있는가?
• RQ4 제안된 정규화 및 학습 전략이 사회적 후행 붕괴를 어느 정도 완화하고 예측 성능을 향상시키는가?
• RQ5 이전의 사회적 맥락이 예측에 유용한 경우, 사회적 후행 붕괴는 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• Argoverse 및 ETH/UCY와 같은 실세계 데이터셋에서 표준 VAE 기반 모델에서 사회적 후행 붕괴가 실증적으로 관찰되며, 추론 과정에서 사회적 맥락을 忽略하는 경향이 있다.
• 제안된 sparse-GAMP 레이어는 사회적 후행 붕괴를 성공적으로 탐지하고 상호작용 의존성의 포착 능력을 향상시킨다.
• 제안된 정규화 및 학습 전략을 적용한 결과, INTERACTION 데이터셋에서 사이클 일치율이 15.5%에 도달하여 기존 VAE 및 CVAE 모델보다 뚜렷이 뛰어나다.
• Argoverse 데이터셋에서 사회적 CVAE 모델은 K=6일 때 최소 FDE 1.3535 및 ADE 0.8546을 기록하며, 여러 이전 방법보다 다중 모달 예측에서 뛰어난 성능을 보였다.
• ETH/UCY 데이터셋에서는 K=20일 때 최소 FDE 0.99 및 ADE 0.64를 기록하여, 사회적 맥락이 중요한 경우 일반화 능력이 향상됨을 보였다.
• 제거 실험 결과, 사회적 후행 붕괴는 특히 상호작용 맥락이 정확한 예측에 핵심적인 경우에 더 높은 예측 오차와 열악한 일반화 성능을 초래함을 확인하였다.