[논문 리뷰] Learning Differential Equations that are Easy to Solve

Jacob Kelly, Jesse Bettencourt외 2명|arXiv (Cornell University)|2020. 07. 09.

Model Reduction and Neural Networks참고 문헌 38인용 수 47

한 줄 요약

본 논문은 적응적 해석기에서의 함수 평가 수를 줄이기 위해 신경 ODE 궤적의 고차 시간 미분을 최소화하는 미분 가능 속도 정규화를 도입하여 속도와 정확도 간의 트레이드오프를 다룬다.

ABSTRACT

Differential equations parameterized by neural networks become expensive to solve numerically as training progresses. We propose a remedy that encourages learned dynamics to be easier to solve. Specifically, we introduce a differentiable surrogate for the time cost of standard numerical solvers, using higher-order derivatives of solution trajectories. These derivatives are efficient to compute with Taylor-mode automatic differentiation. Optimizing this additional objective trades model performance against the time cost of solving the learned dynamics. We demonstrate our approach by training substantially faster, while nearly as accurate, models in supervised classification, density estimation, and time-series modelling tasks.

연구 동기 및 목표

• 궤적 복잡성을 제어함으로써 신경 ODE에서 수치 풀이 비용을 줄이는 것을 동기로 삼는다.
• z(t)의 고차 도함수를 기반으로 한 시간 비용의 미분 가능 한 대리수를 제안한다.
• 속도 정규화 모델이 다양한 과제에서 제한된 정확도 손실로 평가 속도를 상당히 높일 수 있음을 보인다.

제안 방법

• R_K(theta)를 상태의 궤적을 따라 K-번째 시간 도함수의 노름의 제곱의 적분으로 정의한다.
• 정규화 항으로 lambda * R_K(theta)를 학습 목표에 추가하여 해석기 속도와 정확도 간의 트레이드를 수행한다.
• Taylor-모드 자동 미분을 사용해 총 도함수를 O(K^2) 비용으로 효율적으로 계산한다.
• R_K의 적분함수를 포함하도록 ODE 시스템을 확대하여 한 번의 해석기 패스로 계산되도록 한다.
• 감독 학습 MNIST, PhysioNet 시계열, 그리고 FFJORD 밀도 추정에서 속도 정규화 모델을 실험적으로 평가한다.

실험 결과

연구 질문

• RQ1 신경 ODE 궤적의 고차 도함수를 정규화하는 것이 적응 해석기의 필요한 함수 평가 수(NFE)를 줄이는가?
• RQ2 정규화 차수 K를 해석기 차수와 일치시켰을 때 속도와 정확도에 미치는 영향은 무엇인가?
• RQ3 속도 정규화가 분류, 시계열 모델링, 밀도 추정 과제에서 성능에 어떤 영향을 미치는가?
• RQ4 Taylor-모드 자동 미분이 정규화기의 실용적 계산에 필수적인가?
• RQ5 속도 정규화된 모델이 안정적인 학습 및 일반화 특성을 보이는가?

주요 결과

• K-번째 도함수를 정규화하면 여러 과제에서 해석기 평가 수를 대략 2배 정도 감소시키되 손실 증가가 미미하다.
• 정규화 차수를 해석기 차수와 일치시키는 것이 일반적으로 최적의 속도-정확도 트레이드를 제공하며, 어느 정도를 넘는 고차에서 수익이 감소한다.
• 속도 정규화는 학습 및 평가 중 NFE를 크게 낮추고, 테스트 시에는 더 간단한 동역학으로 인해 평가 속도가 빨라진다.
• Taylor-모드 자동 미분은 총 도함수의 효율적 계산을 제공하여 학습 중 R_K의 실용적 사용을 가능하게 한다.
• 선행 정규화기와 비교해도 이 접근법은 비슷한 정확도를 유지하면서 신경 ODE에서 더 빠른 추론을 달성할 수 있다.