[논문 리뷰] SNODE: Spectral Discretization of Neural ODEs for System Identification

Alessio Quaglino, Marco Gallieri외 2명|arXiv (Cornell University)|2019. 06. 17.

Model Reduction and Neural Networks참고 문헌 28인용 수 23

한 줄 요약

이 논문은 상태 궤적을 레지온드 다항식 전개를 사용해 표현하는 스펙트럴 이산화 방법인 SNODE를 제안한다. 이 방법은 다항식 계수와 네트워크 가중치에 대한 좌표 하강법을 통해 완전히 시간 병렬 학습을 가능하게 하여, 동역학계에서 당행 및 명시적 해법보다 적어도 한 계단 빠른 수렴 속도와 10배 낮은 테스트 MSE를 달성한다.

ABSTRACT

This paper proposes the use of spectral element methods \citep{canuto_spectral_1988} for fast and accurate training of Neural Ordinary Differential Equations (ODE-Nets; \citealp{Chen2018NeuralOD}) for system identification. This is achieved by expressing their dynamics as a truncated series of Legendre polynomials. The series coefficients, as well as the network weights, are computed by minimizing the weighted sum of the loss function and the violation of the ODE-Net dynamics. The problem is solved by coordinate descent that alternately minimizes, with respect to the coefficients and the weights, two unconstrained sub-problems using standard backpropagation and gradient methods. The resulting optimization scheme is fully time-parallel and results in a low memory footprint. Experimental comparison to standard methods, such as backpropagation through explicit solvers and the adjoint technique \citep{Chen2018NeuralOD}, on training surrogate models of small and medium-scale dynamical systems shows that it is at least one order of magnitude faster at reaching a comparable value of the loss function. The corresponding testing MSE is one order of magnitude smaller as well, suggesting generalization capabilities increase.

연구 동기 및 목표

• Neural ODE 학습에서 표준 역전파 및 당행 방법의 높은 계산 비용과 메모리 오버헤드 문제를 해결한다.
• 희박한 시간 관측이 있는 동역학계의 시스템 식별에서 최적화 효율성과 일반화 성능을 향상시킨다.
• 중간 상태를 저장하지 않고 수치 오차 민감도를 줄이는 시간 병렬 학습 프레임워크를 개발한다.
• 스펙트럴 방법을 활용해 다항식 근사와 함께 고정밀도 상태 근사를 지수 수렴 속도로 달성한다.
• 다항식 근사를 통한 ODE 제약 완화와 비제약 최적화를 통해 ODE-넷의 안정적이고 효율적인 학습을 가능하게 한다.

제안 방법

• Neural ODE의 상태 궤적을 최적화할 계수를 갖는 레지온드 다항식의 유한 급수로 표현한다.
• 학습 문제를 손실 함수의 가중합과 ODE 동역학 위반의 합으로 설정하여 제약 완화를 가능하게 한다.
• 표준 역전파 및 기울기 방법을 사용해 다항식 계수와 네트워크 가중치를 번갈아 최적화하는 좌표 하강법을 적용한다.
• 학습 중에 ODE를 반복적으로 풀 필요 없이 완전히 시간 병렬로 최적화를 수행한다.
• 레지온드-골프-로바토 점에서 잔차를 계산하기 위해 스펙트럴 콜로케이션을 적용하여 고차 정확도와 효율적 계산을 달성한다.
• 스펙트럴 방법의 특성(Canuto 등, 1988)을 활용해 다항식 차수 증가에 따라 근사 오차가 지수 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 스펙트럴 이산화가 표준 당행 및 명시적 해법 대비 Neural ODE의 학습 속도와 일반화 성능을 향상시키는가?
• RQ2 다항식 근사를 통한 ODE 제약 완화가 최적화 경로의 성질을 향상시키고 수렴 속도를 빠르게 하는가?
• RQ3 이 방법의 시간 병렬성은 시스템 식별 과제에서 메모리 사용량과 계산 비용을 얼마나 줄이는가?
• RQ4 충돌 회피 기능이 있는 연결된 차량 모델과 같은 알려진 동역학을 가진 시스템에서 이 방법은 어떻게 성능을 내는가?
• RQ5 이상치나 비연속적인 동역학을 가진 시스템에 적용했을 때 이 방법은 안정성과 정확도를 유지할 수 있는가?

주요 결과

• 6차원 차량 시스템에서 SNODE는 명시적 및 당행 방법보다 각 반복당 적어도 한 계단 빠른 학습 속도를 달성한다.
• 표준 방법이 요구하는 반복 수의 1/3으로 수렴을 달성했으며, 테스트 MSE가 10배 낮아졌다.
• 30차원 연결된 차량 시스템에서 SNODE의 각 반복은 가장 빠른 명시적 방법보다 50배 빠르며, 유사한 수렴 속도 향상을 보였다.
• 레지온드 다항식 차수 증가에 따라 근사 오차가 지수 수렴함을 보였으며, 저차수 다항식으로도 고정밀도를 달성할 수 있었다.
• 제약 완화로 인해 최적화 경로가 향상되어 기울기 소멸/폭발 문제와 국소 최적점 문제를 줄였다.
• 훈련 손실가 유사한데도 테스트 오차가 현저히 낮아, 표준 방법보다 더 우수한 일반화 성능을 보였다.