[논문 리뷰] Which priors matter? Benchmarking models for learning latent dynamics

Aleksandar Botev, Andrew Jaegle외 3명|arXiv (Cornell University)|2021. 11. 09.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 고차원 관측치에서 잠재 역학을 학습하기 위해 물리적 사전 지식(예: 해밀토니안 및 라그랑주 역학)을 통합하는 모델을 철저히 평가하기 위해 17개의 다양한 물리적 역학 데이터셋 벤치마크를 소개한다. 이러한 사전 지식의 이론적 매력에도 불구하고, 연구 결과 연속적이고 시간에 대해 역행 가능한 역학을 가지는 표준 신경미분방정식(Neural ODE)이 물리학에 기반한 모델보다 뛰어난 성능을 보이며, 연속성과 시간 역행 가능성은 장기 예측 일반화에 있어 가장 중요한 인덕티브 바이어스로 드러났다.

ABSTRACT

Learning dynamics is at the heart of many important applications of machine learning (ML), such as robotics and autonomous driving. In these settings, ML algorithms typically need to reason about a physical system using high dimensional observations, such as images, without access to the underlying state. Recently, several methods have proposed to integrate priors from classical mechanics into ML models to address the challenge of physical reasoning from images. In this work, we take a sober look at the current capabilities of these models. To this end, we introduce a suite consisting of 17 datasets with visual observations based on physical systems exhibiting a wide range of dynamics. We conduct a thorough and detailed comparison of the major classes of physically inspired methods alongside several strong baselines. While models that incorporate physical priors can often learn latent spaces with desirable properties, our results demonstrate that these methods fail to significantly improve upon standard techniques. Nonetheless, we find that the use of continuous and time-reversible dynamics benefits models of all classes.

연구 동기 및 목표

• 고차원 시각 데이터에서 잠재 역학을 학습하는 데 있어 해밀토니안 및 라그랑주 형식과 같은 물리학에 기반한 인덕티브 바이어스가 효과적인지 평가하기 위해.
• 물리적 사전 지식을 활용한다고 주장하는 모델 간의 표준화된 벤치마크와 공정한 비교가 부족한 문제를 해결하기 위해.
• 장기 예측에 있어 가장 효과적인 아키텍처적 인덕티브 바이어스(예: 연속적 역학, 시간에 대해 역행 가능한 성질)를 특정하기 위해.
• 이를 위해 이미지에서 역학을 학습하는 데 진전을 가속화하기 위한 재현 가능하고 오픈소스의 벤치마크 세트를 공개하기 위해.
• 다양한 종류의 역학 시스템(장난감 물리 시스템에서 3D 환경에 이르기까지)에 걸쳐 물리학에 기반한 모델의 일반화 능력을 평가하기 위해.

제안 방법

• 질량-스프링 시스템, 분자 역학, 3D 카메라 이동, 0-합 게임 등 다양한 물리적 시스템을 포함하는 총 17개의 데이터셋으로 구성된 벤치마크 세트를 설계하였다.
• 다양한 모델을 구현하고 평가하였으며, 해밀토니안 그래프 네트워크(HGN), 라그랑주 그래프 네트워크(LGN), 신경미분방정식(Neural ODE), 순환 신경망, 자동재귀 모델을 포함하였다.
• 장기 예측 일반화 성능을 측정하기 위해 VPT(비디오 예측 궤적) 점수를 사용하였으며, 훈련 이후 최대 1000단계까지 궤적을 외삽하여 평가하였다.
• 모든 모델과 데이터셋 간에 동일한 훈련 및 평가 프로토콜을 적용하여 공정한 비교를 확보하였다.
• 시간에 대해 정방향과 역방향으로 모두 예측할 수 있도록 훈련하여 시간에 대해 역행 가능한 성질을 인덕티브 바이어스로 평가하였다.
• 데이터 생성 및 평가에 공통 프레임워크를 사용하였으며, 재현 가능성을 위해 코드와 데이터셋을 오픈소스로 공개하였다.

실험 결과

연구 질문

• RQ1 해밀토니안 또는 라그랑주 사전 지식을 통합한 모델이 고차원 이미지에서 잠재 역학을 학습하는 데 있어 표준 기준 모델보다 유의미하게 뛰어나게 성능을 발휘하는가?
• RQ2 연속성, 시간에 대해 역행 가능한 성질, 에너지 보존 등의 인덕티브 바이어스 중에서 장기 예측에 있어 가장 중요한 것은 무엇인가?
• RQ3 물리학에 기반한 모델은 단순한 시스템부터 복잡한 시스템에 이르기까지 다양한 종류의 역학 시스템에서 어떻게 성능을 발휘하는가?
• RQ4 실제와 유사한 시각 관측치와 알려진 운동 방정식을 사용하여 해밀토니안 다양체 가설을 경험적으로 검증할 수 있는가?
• RQ5 표준 모델 대비 물리학에 기반한 사전 지식이 장기 예측의 분산을 얼마나 줄이는가?

주요 결과

• 해밀토니안 또는 라그랑주 형식과 같은 물리학에 기반한 사전 지식을 통합한 모델은 대부분의 작업에서 표준 신경미분방정식(Neural ODE)이나 기준 모델보다 유의미하게 뛰어나지 않았다.
• 모든 모델 유형에서 가장 효과적인 인덕티브 바이어스는 역학의 연속성과 시간에 대해 역행 가능한 성질이었으며, 이는 장기 예측에서 더 안정적이고 일관된 예측을 가능하게 하였다.
• 물리학에 기반한 모델들 중에서 HGN(Hamiltonian Graph Networks)은 LGN(Lagrangian Graph Networks)보다 더 일관된 성능을 보이며 외삽 시 분산이 낮았고, LGN는 더 불안정하고 계산 비용이 더 높았다.
• 가장 복잡한 데이터셋(MD-16)에서는 어떤 모델도 신뢰할 수 있는 장기 외삽 예측을 달성하지 못하여, 이미지에서 복잡한 분자 역학을 모델링하는 데 현재의 한계가 있음을 시사하였다.
• VPT 점수 근처 1.0은 단순한 데이터셋(예: 질량-스프링, 이체계)에서만 달성되었으며, 이는 이 시스템들은 적어도 한 모델에 의해 효과적으로 해결되었음을 의미한다. 반면 더 복잡한 시스템은 여전히 도전 과제로 남아 있다.
• 이론적 우월성에도 불구하고, 해밀토니안/라그랑주 형식을 직접 통합한다고 해서 표준 신경미분방정식(Neural ODE)에 비해 실질적인 성능 향상이 이루어지지는 않았다. 연속적 역학과 잔차 학습을 갖춘 표준 신경미분방정식이 여전히 더 우수한 성능을 보였다.