[논문 리뷰] Neural Relational Inference for Interacting Systems

Thomas Kipf, Ethan Fetaya외 3명|arXiv (Cornell University)|2018. 02. 13.

Human Pose and Action Recognition참고 문헌 45인용 수 255

한 줄 요약

지도되지 않은 변분 오토인코더가 잠재적 상호작용 그래프를 공동으로 추정하고 그래프 신경망을 통해 동역학을 학습하여, 해석 가능한 간선 유형과 시뮬레이션 및 실제 상호작용 시스템에서의 미래 상태 예측을 가능하게 한다.

ABSTRACT

Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.

연구 동기 및 목표

• trajectories에서 매뉴얼 엣지 주석 없이 기저 상호작용 학습을 동기화한다.
• 엘에스아이(Neural Relational Inference, NRI) 모델을 제안하여 엣지 유형 상호작용과 시스템 동역학을 공동으로 학습한다.
• 확률적 그래프 디코더를 통해 해석 가능한 이산 엣지 유형을 representing 상호작용으로 나타낸다.
• 시뮬레이션 물리, 모션 캡처, 스포츠 데이터에서 ground-truth 상호작용의 비지도 복원 및 장기 예측의 정확성을 입증한다.

제안 방법

• 관측된 궤적을 완전 연결 그래프 위의 GNN으로 인코딩하여 엣지-타입 분포 q_phi(z_ij|x)를 추정한다.
• 원-핫 벡터로 표현된 이산 잠재 그래프(엣지 유형)와 재매개화를 위한 연속 이완(컨크리트 분포)을 사용한다.
• 추론된 그래프 z를 조건으로 하는 GNN 기반 디코더로 미래 궤적을 디코딩하며 서로 다른 상호작용을 모델링하기 위해 엣지 유형 디코더를 분리한다.
• 재구성 항 E_{q_phi(z|x)}[log p_theta(x|z)]와 KL 항 KL[q_phi(z|x)||p_theta(z)]를 결합한 변분 목표(E LBO)로 학습한다.
• 퇴화된 디코딩을 완화하기 위해 여러 미래 단계를 예측하고 엣지 유형별 디코더를 사용하여 엣지 유형에 따른 의존성을 강제한다.

실험 결과

연구 질문

• RQ1 모델이 감독 없이 궤적에서 잠재 상호작용 그래프를 추론할 수 있는가?
• RQ2 물리 시뮬레이션에서 추론된 엣지 유형이 실제 상호작용과 얼마나 잘 대응하는가?
• RQ3 엣지 유형 인식 디coders가 완전 연결 또는 비관계 기반의 baselines에 비해 장기 예측 정확도를 향상시키는가?
• RQ4 모션 캡처 및 스포츠 추적과 같은 실제 데이터에 대해 이 방법이 interpretable한 상호작용 구조를 yielding robust하게 작동하는가?

주요 결과

• NRI 모델은 비지도 물리 시스템 실험에서 ground-truth 상호작용 그래프를 정확하게 복원한다.
• NRI는 모션 캡처 및 스포츠 데이터에서 정확한 장기 역학 예측을 가능하게 하는 소수의 엣지 유형을 학습한다.
• 잠재 그래프의 동적 재평가가 실제 모션 캡처 데이터의 예측 성능을 향상시킨다.
• 엣지 유형별 디코더와 다단계 예측이 퇴화된 디코딩을 완화하고 상호작용 학습을 강화한다.
• 여러 시뮬레이션 태스크에서 NRI가 상호작용 복원 및 예측에 대해 감독 및 골드 표준 baselines에 근접하거나 이를 상회한다.