[논문 리뷰] LagNetViP: A Lagrangian Neural Network for Video Prediction

Christine Allen-Blanchette, Sushant Veer외 2명|arXiv (Cornell University)|2020. 10. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 16

한 줄 요약

LagNetViP는 학습된 물리적 양에서 라그랑주 신경망을 사용해 운동 방정식을 명시적으로 구성하는 비디오 예측 모델을 제안한다. 운동 에너지와 위치 에너지를 별도의 신경망을 통해 공동으로 학습함으로써 저차원 상태 표현과 시스템의 라그랑주 함수를 동시에 학습함으로써, 해석 가능하고 물리적으로 기반을 둔 비디오 예측을 가능하게 하며, 진자 및 애크로봇 환경에서 뛰어난 일반화 및 외삽 성능을 달성한다.

ABSTRACT

The dominant paradigms for video prediction rely on opaque transition models where neither the equations of motion nor the underlying physical quantities of the system are easily inferred. The equations of motion, as defined by Newton's second law, describe the time evolution of a physical system state and can therefore be applied toward the determination of future system states. In this paper, we introduce a video prediction model where the equations of motion are explicitly constructed from learned representations of the underlying physical quantities. To achieve this, we simultaneously learn a low-dimensional state representation and system Lagrangian. The kinetic and potential energy terms of the Lagrangian are distinctly modelled and the low-dimensional equations of motion are explicitly constructed using the Euler-Lagrange equations. We demonstrate the efficacy of this approach for video prediction on image sequences rendered in modified OpenAI gym Pendulum-v0 and Acrobot environments.

연구 동기 및 목표

• 딥 러닝에서 설명 가능성과 일반화를 향상시키기 위해 물리적 사전 지식을 통합한 비디오 예측 모델을 개발하는 것.
• 고차원 이미지 데이터로부터 저차원 상태공간 표현을 학습하면서도 시스템의 운동 방정식을 명시적으로 모델링하는 것.
• 학습된 라그랑주 함수에 기반해 오일러-라그랑주 방정식을 적용하여 운동 방정식을 구성함으로써 물리적 일관성을 확보하는 것.
• 통계적 패턴이 아닌 기저 물리적 동역학을 활용하여 학습 데이터 분포를 초월한 외삽을 가능하게 하는 것.
• 렌더링된 이미지 시퀀스를 사용해 혼돈론적 및 보존 동역학계인 Pendulum-v0 및 Acrobot에서 모델을 검증하는 것.

제안 방법

• 고차원 이미지 시퀀스를 저차원 상태공간 다양체로 매핑하고 다시 복원하기 위해 오토인코딩 신경망을 사용한다.
• 운동 에너지와 위치 에너지를 별도의 신경망으로 파arameter화하는 라그랑주 신경망(LagNetViP)을 학습한다.
• 학습된 라그랑주 함수(L = T - V)에 오일러-라그랑주 방정식을 적용하여 운동 방정식을 구성한다.
• 수치적 미분방정식 해법기를 사용해 학습된 동역학을 시간에 따라 적분하여 초기 잠재 표현에서 미래 상태를 예측한다.
• 이미지 재구성, 잠재 궤적 재구성, 재구성된 이미지와 동역학에 의해 생성된 궤적 간 일관성 등을 조합한 복합 손실을 통해 모델을 종합 최적화한다.
• 일반화된 힘이 입력으로 제공되는 설정에 모델을 적응시켜 비보존적 힘에 대한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망은 고차원 이미지 데이터로부터 저차원 상태 표현과 물리적으로 해석 가능한 라그랑주 함수를 동시에 학습할 수 있는가?
• RQ2 라그랑주 기반 동역학 모델은 비디오 예측에서 학습 데이터 분포를 초월해 일반화 및 외삽하는 데 얼마나 잘 성능을 발휘하는가?
• RQ3 손실 함수의 다양한 구성 요소(예: 재구성, 동역학 일관성)가 모델 성능과 일반화에 미치는 영향은 어떠한가?
• RQ4 모델은 Acrobot과 같은 복잡한 기계 시스템에서 보존적 및 비보존적 동역학을 모두 포착할 수 있는가?
• RQ5 표준 블랙박스 비디오 예측 모델과 비교해 명시적인 물리적 운동 방정식 사용이 설명 가능성과 강건성에 어떻게 기여하는가?

주요 결과

• LagNetViP는 Pendulum-v0 환경에서 뛰어난 비디오 예측 성능을 달성하여 학습 범위를 초월한 궤적을 정확히 재구성하고 외삽함을 확인했다.
• Acrobot 데이터셋에서는 시스템의 혼돈론적 성격에도 불구하고 모델이 유망한 외삽 능력을 보이며 복잡한 동역학 모델링 잠재력을 보였다.
• 절단 실험 결과, 잠재 궤적 재구성 손실을 제거할 경우 성능이 심각하게 악화됨을 확인하여 이 손실이 동역학 일관성을 유지하는 데 핵심적인 역할을 함을 시사했다.
• 모든 손실 구성 요소를 포함한 모델(LagNetViP)이 아예 제거된 변형(LagNetViP-dyn, LagNetViP-lat, LagNetViP-ae)보다 성능이 뛰어나, 재구성과 동역학의 공동 최적화의 중요성을 확인했다.
• 모델은 펜듈럼의 전체 진동 주기, 특히 바닥에 도달한 후 오른쪽으로 올라가는 운동까지도 정확히 예측하여 장기 예측 외삽 능력을 입증했다.
• 운동 에너지와 위치 에너지를 별도의 신경망으로 처리함으로써 더 명확한 물리적 해석 가능성과 데이터 생성 과정과의 더 나은 일치를 달성했다.