[논문 리뷰] Stochastic Prediction of Multi-Agent Interactions from Partial Observations

Chen Sun, Per Karlsson외 3명|arXiv (Cornell University)|2019. 02. 25.

Human Pose and Action Recognition참고 문헌 49인용 수 34

한 줄 요약

그래프-VRNN(Graph-VRNN)를 제시한다. 이는 학습된 다이나믹스와 부분 시각 관찰을 결합하여 다수의 상호 작용 에이전트의 현재 상태를 추론하고 미래 상태를 예측하며, 농구와 축구 데이터셋에서 베이스라인을 능가한다.

ABSTRACT

We present a method that learns to integrate temporal information, from a learned dynamics model, with ambiguous visual information, from a learned vision model, in the context of interacting agents. Our method is based on a graph-structured variational recurrent neural network (Graph-VRNN), which is trained end-to-end to infer the current state of the (partially observed) world, as well as to forecast future states. We show that our method outperforms various baselines on two sports datasets, one based on real basketball trajectories, and one generated by a soccer game engine.

연구 동기 및 목표

• 상호 작용하는 에이전트의 부분 관찰성 하에서 강건한 상태 추정과 미래 예측을 촉진한다.
• 동역학 사전과 시각적 증거를 융합하는 하나의 통합된 엔드-투-엔드 판별 모델을 개발한다.
• 에이전트 간 상호 작용과 데이터 연결 관계를 포착하기 위해 그래프 구조의 VRNN을 활용한다.
• 농구 및 축구 데이터셋에서 개선된 상태 추정 및 예측을 보인다.

제안 방법

• 에이전트당 VRNN을 사용하고 그래프 상호 작용 네트워크를 통해 에이전트 간 다이나믹스를 모델링한다.
• 현재 시각 정보와 과거 믿음을 섞는 주의 기반 디코더를 통해 출력을 시각 입력에 조건화한다.
• 에이전트별 식별자를 사용하여 에이전트 간 백본 특징을 공유하고 데이터 연관을 학습한다.
• 예측을 위해 확장된 변분 목적 함수(ELBO)로 학습하고; 베타 가중치와 일정 샘플링을 적용한다.
• 불확실성을 포착하고 미래 상태 예측을 용이하게 하기 위해 히트맵과 잠재 충분 통계를 도입한다.

실험 결과

연구 질문

• RQ1 그래프 구조의 VRNN이 부분적으로 관찰된 비디오 프레임으로부터 현재 다에이전트의 상태를 함께 추론하고 미래 상태를 예측할 수 있는가?
• RQ2 확률적 잠재 다이나믹스와 에이전트 간 상호 작용을 도입하면 비그래프 혹은 비확률적 기준선에 비해 상태 추정과 예측이 향상되는가?
• RQ3 부분 관찰성(가리기)이 농구 및 축구 설정에서 추적 정확도와 예측 성능에 어떻게 영향을 미치는가?
• RQ4 시각적 증거와 잠재 다이나믹스를 주의 기반 융합하는 것이 효과적으로 '픽셀을 넘어' 볼 수 있는가?

주요 결과

• Graph-VRNN은 Visual만, RNN, VRNN, Indep-RNN, Social-RNN, Graph-RNN 등과 비교했을 때 가려진 에이전트에 대한 상태 추정을 향상시킨다.
• 확률적 잠재 다이나믹스를 추가하면 순전히 결정론적 모델보다 성능이 높아지며, 그래프 기반 상호 작용 모델링이 단순 풀링 기반 방법보다 우수하다.
• 농구 데이터에서 Graph-VRNN은 보이는 에이전트와 숨은 에이전트 모두에 대해 낮은 정규화된 L2 거리를 달성하고 예측 손실이 시간에 따라 개선된다.
• 축구 데이터에서 확률적 Graph-RNN의 예측 개선은 존재하지만 시뮬레이터의 예측 가능성으로 인해 작으며, 데이터셋 특성이 확률성의 이점을 좌우함을 시사한다.
• 정성적 결과는 관찰 프레임과 함께 믿음 상태가 더 확실해지고, Graph-VRNN 샘플에서 미래의 불확실성 하에 다양화되는 것을 보여준다.