[논문 리뷰] Deconstructing the Inductive Biases of Hamiltonian Neural Networks

Nate Gruver, Marc Finzi외 2명|arXiv (Cornell University)|2022. 02. 10.

Model Reduction and Neural Networks인용 수 14

한 줄 요약

이 논문은 하미르토니안 신경망(HNNs)을 분해하고, 그들이 우수한 일반화 성능을 보이는 데 기여하는 요소가 에너지 보존이나 심플렉틱 구조가 아니라 직접 가속도를 모델링하는 암묵적 2차 구조에 기인한다는 것을 드러낸다. 이 2차 구조를 분리하고 단순히 이를 신경미분방정식(NODE + SO)에 적용함으로써, 보존력계와 비보존력계 양쪽에서 HNN을 능가하는 성능을 달성하였으며, 이는 더 단순하고 계산적으로도 효율적이다.

ABSTRACT

Physics-inspired neural networks (NNs), such as Hamiltonian or Lagrangian NNs, dramatically outperform other learned dynamics models by leveraging strong inductive biases. These models, however, are challenging to apply to many real world systems, such as those that don't conserve energy or contain contacts, a common setting for robotics and reinforcement learning. In this paper, we examine the inductive biases that make physics-inspired models successful in practice. We show that, contrary to conventional wisdom, the improved generalization of HNNs is the result of modeling acceleration directly and avoiding artificial complexity from the coordinate system, rather than symplectic structure or energy conservation. We show that by relaxing the inductive biases of these models, we can match or exceed performance on energy-conserving systems while dramatically improving performance on practical, non-conservative systems. We extend this approach to constructing transition models for common Mujoco environments, showing that our model can appropriately balance inductive biases with the flexibility required for model-based control.

연구 동기 및 목표

• 하미르토니안 신경망(HNNs)의 강력한 일반화 성능을 이끄는 주요 인도적 편향(inductive biases)을 규명하는 것.
• 기존의 심플렉틱 구조나 에너지 보존이 HNN 성공의 주요 원인이라는 일반적인 믿음을 도전하는 것.
• HNNs의 성능 이점을 유지하면서도 비보존력계, 예를 들어 로봇 제어 환경과 같은 실제 세계의 시스템에 적용 가능한 단순화된 모델을 개발하는 것.
• 기존에 HNNs가 성능이 떨어지는 복잡한 MuJoCo 이동 과제에서 제안된 방법의 성능을 평가하는 것.
• 불필요한 인도적 편향을 제거함으로써 모델 기반 강화학습에서 더 나은 일반화와 계산 효율성을 달성할 수 있음을 보여주는 것.

제안 방법

• HNNs를 네 가지 핵심 인도적 편향으로 분해: ODE 수식, 2차 구조, 에너지 보존, 심플렉틱성.
• 각 인도적 편향을 체계적으로 제거하여 2차 구조의 기여도를 고립적으로 분석.
• 에너지 보존이나 심플렉틱성을 강제하지 않고도 속도 변화를 통해 가속도를 명시적으로 모델링하는 수정된 신경미분방정식(NODE + SO)을 구성.
• 토이 시스템(예: 감쇠 진자)과 복잡한 MuJoCo 환경에서 NODE + SO 모델을 훈련 및 평가.
• 여러 시드를 기반으로 궤적 예측에 대한 L2 손실을 사용해 표준 NODE, HNN, SymODEN과의 성능을 비교.
• 고정 단계 ODE 통합을 사용하여 NODE 기준 모델이 표준 모델 기반 강화학습 모델을 대표할 수 있도록 보장.

실험 결과

연구 질문

• RQ1 HNNs가 표준 신경미분방정식보다 일반화 성능이 향상되는 데 기여하는 주요 인도적 편향은 무엇인가?
• RQ2 에너지 보존이나 심플렉틱성은 비보존력계에서 HNNs의 성능에 크게 기여하는가?
• RQ3 오직 2차 구조만 유지하는 단순화된 모델이 보존력계와 비보존력계 양쪽에서 HNN을 능가할 수 있는가?
• RQ4 복잡한 MuJoCo 제어 환경에서 HNN과 NODE + SO의 성능는 어떻게 비교되는가?
• RQ5 에너지 보존과 같은 강력한 인도적 편향을 제거하면 실질적인 로봇 응용 분야에서 더 나은 일반화와 확장성 달성이 가능한가?

주요 결과

• HNNs의 일반화 성능 향상 요인은 에너지 보존이나 심플렉틱성보다는 속도 변화를 통한 가속도 모델링을 암묵적으로 포함하는 2차 구조에 기인한다.
• 에너지 보존 시스템인 비감쇠 진자에서는 NODE + SO가 HNN과 유사하거나 이를 초월하며, 감쇠 진자와 같은 비보존력계에서는 HNN보다 뚜렷이 뛰어난 성능을 보였다.
• MuJoCo 환경에서는 HNN이 표준 NODE와 비교해도 성능이 열 劣하고, NODE + SO는 HNN보다 떨어지지 않으며 오히려 뛰어나다. 이는 하미르토니안 편향이 복잡한 비보존력계에서 훈련과 일반화를 저해한다는 것을 시사한다.
• 모든 평가된 MuJoCo 과제에서 NODE + SO는 HNN보다 더 높은 성능을 달성했으며, 오차는 낮고 샘플 효율성도 높아, 더 강력한 인도적 편향이 항상 더 좋은 것은 아님을 입증했다.
• 아블레이션 연구 결과, 2차 구조를 유지할 경우 에너지 보존과 심플렉틱성을 제거해도 보존력계에서는 성능 저하가 발생하지 않았다.
• HNNs나 SymODEN보다 계산적으로 더 효율적이며, 파라미터 수와 계산 자원의 일부분으로도 유사하거나 더 나은 성능을 달성했다.