[논문 리뷰] On Second Order Behaviour in Augmented Neural ODEs

Alexander Norcliffe, Cristian Bodnar외 3명|arXiv (Cornell University)|2020. 01. 01.

Model Reduction and Neural Networks참고 문헌 21인용 수 22

한 줄 요약

이 논문은 두 번째 차수의 역학을 모델링하기 위해 결합된 일차 미분방정식을 사용하는 연속적 깊이 구조인 Second Order Neural ODEs (SONODEs)를 소개한다. 이는 확장된 연역 감도 방법을 통해 효율적인 훈련을 가능하게 한다. 주요 기여는 SONODEs가 더 강한 인덕티브 바이어스 덕분에 ANODEs와 NODEs보다 두 번째 차수의 역학계에서 더 빠른 훈련 속도와 뛰어난 성능을 달성한다는 점이며, ANODEs 역시 더 높은 차수의 역학을 학습할 수 있지만 해석 가능성은 감소한다.

ABSTRACT

Neural Ordinary Differential Equations (NODEs) are a new class of models that transform data continuously through infinite-depth architectures. The continuous nature of NODEs has made them particularly suitable for learning the dynamics of complex physical systems. While previous work has mostly been focused on first order ODEs, the dynamics of many systems, especially in classical physics, are governed by second order laws. In this work, we consider Second Order Neural ODEs (SONODEs). We show how the adjoint sensitivity method can be extended to SONODEs and prove that the optimisation of a first order coupled ODE is equivalent and computationally more efficient. Furthermore, we extend the theoretical understanding of the broader class of Augmented NODEs (ANODEs) by showing they can also learn higher order dynamics with a minimal number of augmented dimensions, but at the cost of interpretability. This indicates that the advantages of ANODEs go beyond the extra space offered by the augmented dimensions, as originally thought. Finally, we compare SONODEs and ANODEs on synthetic and real dynamical systems and demonstrate that the inductive biases of the former generally result in faster training and better performance.

연구 동기 및 목표

• 신체역학에서 흔한 두 번째 차수의 역학에 대해 이론적 및 실증적 연구가 부족한 점을 해결하기 위해.
• 연역 감도 방법을 두 번째 차수의 미분방정식으로 확장하고, 첫 번째 차수의 쌍방정식과의 계산적 동등성을 입증하기 위해.
• 증강된 신경 미분방정식(ANODEs)이 더 높은 차수의 역학을 학습할 수 있는지 조사하고, 해석 가능성과 최적화 경로에 미치는 영향을 평가하기 위해.
• 합성 및 실제 두 번째 차수의 역학계에서 SONODEs와 ANODEs를 비교하여 일반화 및 인덕티브 바이어스의 영향을 평가하기 위해.

제안 방법

• 속도를 나타내는 a를 포함한 상태 z = [x, a]를 사용하여 SONODEs를 결합된 일차 미분방정식 시스템으로 공식화함으로써, 일차 미분방정식의 연역 감도 방법을 재사용할 수 있도록 함.
• 두 번째 차수의 연역 상태의 역학을 유도하여 연역 감도 방법을 두 번째 차수의 시스템으로 일반화함.
• 직접적인 두 번째 차수 연역 계산보다 계산적으로 효율적인 대안으로 일차 미분방정식의 쌍방정식 형태를 사용함.
• 경로에 대한 회귀 작업에는 평균 제곱 오차(MSE) 손실을, 분류 작업에는 교차 엔트로피 손실을 사용하여 모델을 훈련함.
• 적응형 스텝 크기를 갖는 ODE 해법기를 적용하고, 모델 파라미터를 최적화하기 위해 연역 방법을 통해 기울기를 계산함.
• 해석적 해가 알려진 합성 시스템(예: compact parity, 지수 함수)과 실제 시스템(예: 비행기 진동)을 테스트하여 모델을 평가함.

실험 결과

연구 질문

• RQ1 연역 감도 방법을 두 번째 차수의 신경 미분방정식에 성공적으로 일반화할 수 있는가?
• RQ2 일차 미분방정식의 쌍방정식 형태는 직접적인 두 번째 차수 연역 계산보다 계산적으로 동등하고 더 효율적인가?
• RQ3 ANODEs는 더 높은 차수의 역학을 학습할 수 있으며, 해석 가능성과 손실 경로에 어떤 영향을 미치는가?
• RQ4 더 강한 인덕티브 바이어스 덕분에 SONODEs가 두 번째 차수의 역학계 학습에서 ANODEs와 NODEs를 능가하는가?
• RQ5 실제 및 합성 작업에서 SONODEs와 ANODEs의 훈련 속도, 테스트 정확도, 함수 평가 횟수(NFE) 측면에서 어떻게 비교되는가?

주요 결과

• SONODEs는 더 강한 인덕티브 바이어스 덕분에 두 번째 차수의 역학계에서 ANODEs와 NODEs보다 더 빠른 훈련 속도와 뛰어난 성능을 달성한다.
• 일차 미분방정식의 쌍방정식 형태는 직접적인 두 번째 차수 연역 계산과 계산적으로 동등하며 더 효율적이다.
• ANODEs는 최소한의 증강 차원으로 더 높은 차수의 역학을 학습할 수 있지만, 해석 가능성은 감소하고 손실 경로는 더 복잡해진다.
• MNIST 분류 작업에서 SONODEs는 NFE가 20.1로 낮아지면서 테스트 정확도 0.9963 ± 0.0001을 달성하였으며, 이는 더 단순하고 효율적인 흐름임을 시사한다.
• ANODEs도 동일한 테스트 정확도 0.9963 ± 0.0001를 달성했지만 NFE가 32.2로 더 높아, 더 적은 파라미터에도 불구하고 더 복잡한 학습된 역학을 의미한다.
• 세 번째 차수의 신경 미분방정식(TONODEs)은 비행기 진동 작업에서 상당히 떨어지며 종종 자명한 해에 수렴하는 경향이 있어, 더 높은 차수의 시스템에서 최적화의 과제가 있음을 시사한다.