[논문 리뷰] Eigen-informed NeuralODEs: Dealing with stability and convergence issues of NeuralODEs

Tobias Thummerer, Lars Mikelsons|arXiv (Cornell University)|2023. 02. 07.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 ODE 성질—예를 들어 고유값 기반 안정성, 진동, 주파수, 감쇠 및 강성—을 직접 손실 함수에 통합함으로써 NeuralODE의 학습 안정성과 수렴성을 향상시키는 Eigen-informed NeuralODEs를 제안한다. 이는 미분 가능 고유값 연산을 통해 고유값에 대한 기울기 기반 최적화를 가능하게 하여 국소 최소값과 불안정성을 방지하며, 복잡하고 진동성이 있는 시스템(예: 반데르폴 진동자)에서 학습의 강건성과 성능을 크게 향상시킨다.

ABSTRACT

Using vanilla NeuralODEs to model large and/or complex systems often fails due two reasons: Stability and convergence. NeuralODEs are capable of describing stable as well as instable dynamic systems. Selecting an appropriate numerical solver is not trivial, because NeuralODE properties change during training. If the NeuralODE becomes more stiff, a suboptimal solver may need to perform very small solver steps, which significantly slows down the training process. If the NeuralODE becomes to instable, the numerical solver might not be able to solve it at all, which causes the training process to terminate. Often, this is tackled by choosing a computational expensive solver that is robust to instable and stiff ODEs, but at the cost of a significantly decreased training performance. Our method on the other hand, allows to enforce ODE properties that fit a specific solver or application-related boundary conditions. Concerning the convergence behavior, NeuralODEs often tend to run into local minima, especially if the system to be learned is highly dynamic and/or oscillating over multiple periods. Because of the vanishing gradient at a local minimum, the NeuralODE is often not capable of leaving it and converge to the right solution. We present a technique to add knowledge of ODE properties based on eigenvalues - like (partly) stability, oscillation capability, frequency, damping and/or stiffness - to the training objective of a NeuralODE. We exemplify our method at a linear as well as a nonlinear system model and show, that the presented training process is far more robust against local minima, instabilities and sparse data samples and improves training convergence and performance.

연구 동기 및 목표

• 복잡하거나 대규모 시스템에 대해 학습하는 데서 흔히 발생하는 기존 NeuralODE의 불안정성과 수렴 문제를 해결하기 위해.
• 기울기가 사라지는 진동성 있거나 고도로 동적인 시스템에서 국소 최소값 문제를 극복하기 위해.
• 시스템 고유모드에 대한 사전 지식을 통합함으로써 희소하거나 부족한 샘플 데이터에서도 학습이 가능하도록 하기 위해.
• 안정성, 주파수, 감쇠, 강성 등의 ODE 성질을 최적화 과정에서 강제화하기 위한 일반적이고 미분 가능한 프레임워크를 제공하기 위해.
• 강성 또는 불안정성으로 인해 기존에 해를 구할 수 없는 시스템에 대해서도 NeuralODE의 적용 가능성을 확장하기 위해.

제안 방법

• NeuralODE 학습 과정에서 고유값 연산을 통해 기울기 흐름이 가능하도록, 미분 가능한 고유값 및 고유벡터 계산 레이어를 도입한다.
• 해의 정밀도 외에도 원하는 고유값 위치(예: 안정성을 위한 음수 실수부, 특정 감쇠 비율, 또는 진동 행동) 기반 기울기를 포함하는 복합 손실 함수를 구성한다.
• 모델 파라미터에 직접 시스템 역학에 대한 제약 조건을 기울기 전파를 통해 반영하기 위해 고유값이 네트워크 가중치에 민감한 성질을 활용한다.
• 선형 및 비선형 시스템, 특히 반데르폴 진동자에 대해 이 방법을 적용하여 다양한 역학적 특성 하에서의 강건성을 검증한다.
• 엔드 투 엔드 학습을 위해 Julia 프로그래밍 언어와 오픈소스 DifferentiableEigen.jl 패키지를 사용하여, 미분 가능한 고유값 분해를 구현한다.
• 강성(STF), 주파수(FRQ), 감쇠(DMP), 진동(OSC) 등의 추가 기울기를 손실 함수에 통합하여 모델이 원하는 동적 행동으로 유도되도록 한다.

실험 결과

연구 질문

• RQ1 고유값 기반 제약 조건은 진동성 있거나 강성 있는 시스템에서 NeuralODE의 수렴 성능을 향상시킬 수 있는가?
• RQ2 고유값 인식 기반 기울기를 통합할 경우, NeuralODE가 국소 최소값에서 벗어나는 데 영향을 미치는가?
• RQ3 시스템 고유모드를 알고 있을 때, Eigen-informed NeuralODEs는 얼마나 희소하거나 부족한 샘플 데이터를 처리할 수 있는가?
• RQ4 이 방법은 학습 도중 본질적으로 불안정한 시스템, 예를 들어 반데르폴 진동자와 같은 시스템을 안정화시킬 수 있는가?
• RQ5 암시적 해법기를 사용할 경우, 전통적 NeuralODE 학습에 비해 Eigen-informed 학습의 계산 비용은 어떻게 되는가?

주요 결과

• 안정성, 주파수, 감쇠, 진동성 등의 고유값 기반 기울기를 포함함으로써, 특히 진동성 있는 시스템에서 수렴 성능이 크게 향상되고 국소 최소값에 갇히는 현상이 방지된다.
• 반데르폴 진동자에 대해, STF 기울기가 포함된 손실 구성 SOL+FRQ+DMP+OSC는 STF가 포함되지 않은 구성보다 빠른 수렴과 더 나은 피팅을 달성했으며, 그 결과는 그림 9에 나타나 있다.
• 고유모드에 대한 사전 지식을 고유값 기반 접근을 통해 통합함으로써, 뉴이퀀 샘플링 정리 위반을 초래하는 희소한 데이터에 대해서도 학습이 가능해졌다.
• 기존 손실 함수가 정확한 진동 행동로 수렴하지 못하는 상황에서도, 이 방법은 반데르폴 진동자에 대한 NeuralODE 학습을 성공적으로 수행했다.
• DifferentiableEigen.jl를 통한 미분 가능한 고유값 계산은 고유값 연산 전체를 기울기 전파가 가능하게 하여, 표준 자동 미분 프레임워크와의 호환성을 확보했다.
• 이 방법은 선형 및 비선형 시스템 전반에서 강건성을 입증하였으며, 기존 기계학습 기반 NeuralODE보다 학습 안정성과 성능이 향상되었다.