[논문 리뷰] Accelerating Neural ODEs with Spectral Elements.

Alessio Quaglino, Marco Gallieri외 2명|arXiv (Cornell University)|2019. 06. 17.

Model Reduction and Neural Networks참고 문헌 24인용 수 8

한 줄 요약

이 논문은 신경 미분방정식(Neural ODE)의 동역학을 잘라낸 레지온다르 다항식 시리즈로 표현하여, 스펙트럼 계수와 네트워크 가중치를 번갈아가며 갱신하는 좌표 강하(coordinate descent)를 통해 시간에 평행한 최적화를 가능하게 함으로써 훈련 속도를 가속화한다. 이 방법은 표준 백프로파게이션 및 양면 방법 대비 최소 10배 빠른 수렴 속도와 10배 낮은 테스트 MSE를 달성한다.

ABSTRACT

This paper proposes the use of spectral element methods \citep{canuto_spectral_1988} for fast and accurate training of Neural Ordinary Differential Equations (ODE-Nets; \citealp{Chen2018NeuralOD}) for system identification. This is achieved by expressing their dynamics as a truncated series of Legendre polynomials. The series coefficients, as well as the network weights, are computed by minimizing the weighted sum of the loss function and the violation of the ODE-Net dynamics. The problem is solved by coordinate descent that alternately minimizes, with respect to the coefficients and the weights, two unconstrained sub-problems using standard backpropagation and gradient methods. The resulting optimization scheme is fully time-parallel and results in a low memory footprint. Experimental comparison to standard methods, such as backpropagation through explicit solvers and the adjoint technique \citep{Chen2018NeuralOD}, on training surrogate models of small and medium-scale dynamical systems shows that it is at least one order of magnitude faster at reaching a comparable value of the loss function. The corresponding testing MSE is one order of magnitude smaller as well, suggesting generalization capabilities increase.

연구 동기 및 목표

• 동역학 시스템 내에서 시스템 식별을 위한 신경 미분방정식 훈련을 가속화하기 위해.
• 신경 미분방정정 훈련 중 메모리 사용량을 줄이기 위해.
• 손실과 미분방정식 동역학 위반을 모두 최소화하여 일반화 성능을 향상시키기 위해.
• 스펙트럼 공간에서 미분방정식 동역학을 재구성함으로써 완전히 시간에 평행한 최적화를 가능하게 하기 위해.

제안 방법

• 신경 미분방정식의 동역학은 레지온다르 다항식의 잘라낸 시리즈로 표현된다.
• 스펙트럼 계수와 네트워크 가중치는 손실과 미분방정식 잔차 위반의 가중합을 최소화함으로써 공동 최적화된다.
• 좌표 강하는 계수 최적화(기울기 방법을 통해)와 가중치 최적화(백프로파게이션을 통해)를 번갈아 수행한다.
• 스펙트럼 계수가 시간 간격 간에 독립적으로 계산되기 때문에 이 방법은 완전히 시간에 평행하다.
• 미분방정식 제약은 잔차의 약한 형태를 통해 강제되며, 진짜 동역학에서의 편차를 최소화한다.
• 이 접근법은 고정밀도를 낮은 메모리 사용량으로 달성하기 위해 스펙트럼 요소 방법을 활용한다.

실험 결과

연구 질문

• RQ1 스펙트럼 요소 방법은 시스템 식별을 위한 신경 미분방정식 훈련의 속도와 정확도를 향상시킬 수 있는가?
• RQ2 스펙트럼 계수를 통한 시간에 평행한 최적화는 표준 백프로파게이션을 통한 해법기와 비교해 어떻게 다를까?
• RQ3 이 방법은 훈련 중 메모리 소비를 어느 정도 줄이는가?
• RQ4 스펙트럼 잔차를 통한 미분방정식 동역학 강제화가 일반화 성능을 향상시키는가?
• RQ5 이 방법은 중간 크기의 동역학 시스템에 효과적으로 스케일링될 수 있는가?

주요 결과

• 제안된 방법은 명시적 해법기와 양면 방법을 통한 표준 백프로파게이션 대비 최소 10배 빠른 수렴 속도를 달성한다.
• 이 방법은 훨씬 적은 훈련 반복 횟수 내에 기준 수준과 유사한 손실 값을 도달하여 더 빠른 최적화 역학을 나타낸다.
• 테스트 평균 제곱 오차(MSE)는 기준 방법 대비 한 단계 낮아져 더 나은 일반화를 시사한다.
• 최적화 방법은 완전히 시간에 평행하여 시간 간격에 걸쳐 효율적인 계산이 가능하다.
• 레지온다르 다항식을 통한 동역학의 구조적이고 글로벌한 표현 덕분에 이 방법은 낮은 메모리 사용량을 유지한다.
• 손실과 미분방정식 잔차 위반의 동시 최소화는 동역학 시스템의 더 정확한 대체 모델을 이끌어낸다.