[논문 리뷰] Unsupervised Learning of Lagrangian Dynamics from Images for Prediction and Control

Yaofeng Desmond Zhong, Naomi Ehrich Leonard|arXiv (Cornell University)|2020. 07. 03.

Computational Physics and Python Applications인용 수 10

한 줄 요약

이 논문은 평면 강체 시스템의 영상 관측 자료로부터 해석 가능한 일반화 좌표와 라그랑주 역학을 동시에 학습하는 비지도 딥러닝 프레임워크를 제안한다. 좌표 인식 VAE와 라그랑주 역학 모델을 결합함으로써, 물리적 해석 가능성과 함께 정확한 장기적 영상 공간 예측 및 에너지 기반 제어기 합성을 가능하게 하여 예측 및 제어 과제에서 기존 방법들을 능가한다.

ABSTRACT

Recent approaches for modelling dynamics of physical systems with neural networks enforce Lagrangian or Hamiltonian structure to improve prediction and generalization. However, when coordinates are embedded in high-dimensional data such as images, these approaches either lose interpretability or can only be applied to one particular example. We introduce a new unsupervised neural network model that learns Lagrangian dynamics from images, with interpretability that benefits prediction and control. The model infers Lagrangian dynamics on generalized coordinates that are simultaneously learned with a coordinate-aware variational autoencoder (VAE). The VAE is designed to account for the geometry of physical systems composed of multiple rigid bodies in the plane. By inferring interpretable Lagrangian dynamics, the model learns physical system properties, such as kinetic and potential energy, which enables long-term prediction of dynamics in the image space and synthesis of energy-based controllers.

연구 동기 및 목표

• 좌표(annotation)가 필요 없이 영상 데이터로부터 물리적 역학을 데이터 효율적으로 비지도 학습할 수 있도록 한다.
• 좌표 인식 VAE를 사용하여 영상 시퀀스에서 직접 해석 가능한 일반화 좌표(특히 회전 및 이동 좌표)를 추론한다.
• 잠재 공간에서 라그랑주 역학을 강제하여 장기 예측 정확도와 물리적 일致성을 향상시킨다.
• 학습된 해석 가능한 역학을 기반으로 에너지 기반 제어기를 합성하여 제어 과제를 수행한다.
• 이전 방법들이 좌표 감독을 요구하거나 고차원의 해석 불가능한 잠재변수를 사용하거나 다체계로의 일반화에 실패하는 한계를 극복한다.

제안 방법

• 영상 입력으로부터 해석 가능한 일반화 좌표(예: 각도 및 위치)를 추론하기 위해 평면 강체의 기하학적 특성을 명시적으로 모델링하는 좌표 인식 변분 오토인코더(VAE)를 설계한다.
• 영상 재구성과 물리 기반 정규화를 통해 비지도 방식으로 VAE를 훈련시켜 잠재공간이 물리적 구성에 반영되도록 한다.
• 유도 가능한 미분 방정식 적분기를 사용하여 에너지 보존 및 심플렉틱 구조를 강제하는 잠재공간에서의 라그랑주 역학 모델을 훈련시킨다.
• VAE와 역학 모델의 공동 훈련을 통해 원시 영상 시퀀스로부터 좌표와 역학을 종단간(end-to-end)으로 학습한다.
• 라그랑주 공식을 통해 물리적 사전 지식을 통합함으로써 운동에너지와 위치에너지 항을 포함하여 일반화 및 안정성을 향상시킨다.
• 제어 입력을 역학 모델에 통합하여 학습된 물리적 구조를 활용한 에너지 기반 제어기 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 평면 강체 시스템의 영상 시퀀스로부터 해석 가능한 일반화 좌표를 비지도 방식으로 추론할 수 있는가?
• RQ2 좌표 감독 없이 영상에서 유도된 잠재공간에서 라그랑주 역학을 효과적으로 학습할 수 있는가?
• RQ3 라그랑주 사전 지식을 강제하면 비물리적 기준선 대비 장기 예측 정확도와 일반화 능력이 향상되는가?
• RQ4 학습된 역학이 시각 기반 제어를 위한 효과적이고 물리적으로 해석 가능한 제어기를 지원할 수 있는가?
• RQ5 VAE의 좌표 인식 구성 요소가 전체 모델의 해석 가능성과 성능에 기여하는 방식은 무엇인가?

주요 결과

• 제안된 모델은 영상 공간 예측 성능에서 최신 기준을 달성하였으며, 펜듈럼 작업에서 픽셀 MSE가 1.52×10³으로 HGN(2.67×10³)과 MLPdyn+caVAE(14.18×10³)를 모두 능가하였다.
• 장기 예측에서 안정적인 에너지 보존이 확인되었으며, 확장된 궤적 동안 일관된 운동에너지 및 위치에너지 프로파일을 보였다.
• 좌표 인식 디코더가 해석 가능한 좌표 학습에 가장 크게 기여하였고, 좌표 인식 인코더는 보조적이나 의미 있는 향상 기여를 하였다.
• 제거 실험 결과, 표준 AE나 PAIG 모델로 좌표 인식 VAE를 대체할 경우 카트폴 작업에서 실패함을 확인하여 기하학적 인도티브 바이어스의 필요성을 입증하였다.
• 모델은 예측되지 않은 제어 입력으로도 일반화에 성공하였으며, 시스템을 안정화하는 에너지 기반 제어기를 합성함으로써 제어 가능성의 가능성을 입증하였다.
• HGN는 고차원 잠재공간을 사용하지만 카트폴 작업에서 테스트 데이터셋으로의 일반화에 실패함을 확인하여 제안된 방법의 데이터 효율성과 일반화 능력의 우수성을 입증하였다.