[논문 리뷰] Learning Continuous System Dynamics from Irregularly-Sampled Partial Observations

Zijie Huang, Yizhou Sun외 1명|arXiv (Cornell University)|2020. 11. 08.

Time Series Analysis and Forecasting참고 문헌 22인용 수 25

한 줄 요약

이 논문은 시간적 자기주의 주의를 갖는 그래프 신경망 인코더를 통해 동시에 음성 상태를 추론함으로써 불규칙하게 샘플링되고 부분적으로 관측된 궤적에서 연속적인 다중 에이전트 시스템 역학을 학습하는 잠재 미분방정식 모델인 LG-ODE를 제안한다. 이 방법은 운동 캡처, 스프링, 그리고 전하 입자 데이터셋에서 누락된 데이터 복원 및 향후 궤적 예측에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many real-world systems, such as moving planets, can be considered as multi-agent dynamic systems, where objects interact with each other and co-evolve along with the time. Such dynamics is usually difficult to capture, and understanding and predicting the dynamics based on observed trajectories of objects become a critical research problem in many domains. Most existing algorithms, however, assume the observations are regularly sampled and all the objects can be fully observed at each sampling time, which is impractical for many applications. In this paper, we propose to learn system dynamics from irregularly-sampled partial observations with underlying graph structure for the first time. To tackle the above challenge, we present LG-ODE, a latent ordinary differential equation generative model for modeling multi-agent dynamic system with known graph structure. It can simultaneously learn the embedding of high dimensional trajectories and infer continuous latent system dynamics. Our model employs a novel encoder parameterized by a graph neural network that can infer initial states in an unsupervised way from irregularly-sampled partial observations of structural objects and utilizes neuralODE to infer arbitrarily complex continuous-time latent dynamics. Experiments on motion capture, spring system, and charged particle datasets demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 관측이 불규칙하게 샘플링되고 각 에이전트에 대해 부분적으로만 이용 가능한 상황에서 연속적인 시스템 역학을 학습하는 데 도전하는 것.
• 알려진 기저 그래프 구조를 갖는 잠재 미분방정식 프레임워크를 사용하여 다수의 에이전트 간 복잡한 연속 시간 상호작용을 모델링하는 것.
• 이웃 관계와 시간적 맥락을 활용하여 관측이 희박하거나 시간이 어긋난 경우에도 모든 에이전트의 초기 잠재 상태를 동시에 추론하는 것.
• 불완전한 데이터를 가진 동적 시스템에서 누락된 관측의 보간 및 향후 궤적의 외삽을 정확하게 수행할 수 있도록 하는 것.
• 기존 모델들이 각 시간 단계에서 모든 에이전트가 완전히 관측된다는 가정을 하고 있다는 한계를 극복하는 것.

제안 방법

• 다중 에이전트 시스템의 연속 시간 잠재 역학을 모델링하기 위해 신경 미분방정식을 사용하는 변분 오토인코더 프레임워크인 LG-ODE를 제안한다.
• 각 객체의 관측치에 대한 맥락 기반 표현을 생성하기 위해 이웃 정보를 집계하는 그래프 신경망(GNN) 인코더를 활용한다.
• 각 에이전트의 불규칙하게 샘플링된 관측 시퀀스에서 순차적 패턴을 모델링하기 위해 시간 자기주의 주의 메커니즘을 통합한다.
• 에이전트 간 상호의존성과 관측의 희박성에 기반하여 모든 에이전트의 초기 잠재 상태를 동시에 추론한다.
• 잠재 공간에서의 에이전트 간 연속적 상호작용을 모델링하기 위해 GNN 기반의 ODE 함수를 갖는 신경 미분방정식을 사용한다.
• 부분적이고 불규칙한 관측에서 초기 잠재 상태의 사후 분포를 근사하기 위해 변분 추론을 활용한다.

실험 결과

연구 질문

• RQ1 잠재 미분방정식 모델은 불규칙하게 샘플링되고 부분적으로 관측된 궤적에서 효과적으로 연속적인 시스템 역학을 학습할 수 있는가?
• RQ2 개별 에이전트가 관측 수가 적거나 희박한 경우, 에이전트 간의 초기 상태를 동시에 추론함으로써 성능 향상이 얼마나 이루어지는가?
• RQ3 시간 자기주의 주의를 갖는 GNN 기반 인코더는 불완전한 동적 시스템에서 복잡한 시간적 및 구조적 의존성을 어느 정도 잘 포착할 수 있는가?
• RQ4 제안된 방법은 실제 및 시뮬레이션 데이터셋에서 보간 및 외삽 작업 모두에서 기존 접근법을 능가하는가?
• RQ5 관측의 희박성 수준과 비균일한 샘플링 간격에 대해 모델의 성능은 얼마나 강인한가?

주요 결과

• LG-ODE는 운동 캡처, 스프링 시스템, 전하 입자 데이터셋에서 누락된 관측을 보간하는 데 최신 기술 수준의 성능을 달성한다.
• 에이전트 간 상호의존성을 통한 동시 초기 상태 추론을 활용하여 부분적으로 관측되고 불규칙하게 샘플링된 궤적의 복원 정확도를 크게 향상시킨다.
• 실험 결과, 시간 자기주의 주의 메커니즘이 희박하고 비균일한 관측 조건에서도 복잡한 시간 패턴을 효과적으로 포착함을 보여준다.
• GNN 기반 인코더는 이웃 에이전트로부터의 맥락 정보를 집계함으로써 더 나은 표현 학습을 가능하게 하며, 특히 관측이 제한된 에이전트에 유리하다.
• 모델은 미래 궤적 예측(외삽)에 대해 잘 일반화되며, 다양한 관측 희박성 수준에서 테스트된 모든 데이터셋에서 베이스라인 모델을 능가한다.
• 제거 실험 결과, 초기 상태의 동시 학습과 시간 자기주의 주의의 사용이 성능에 매우 중요하며, 특히 관측 수가 적은 환경에서 그 중요성이 두드러진다.