[논문 리뷰] Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics

Avik Pal, Yingbo Ma외 2명|arXiv (Cornell University)|2021. 05. 09.

Model Reduction and Neural Networks참고 문헌 46인용 수 4

한 줄 요약

이 논문은 신경미분방정식(NDEs)의 예측 속도를 높이기 위해 내부 솔버 히وري스틱—특히 국소 오차 및 강성 추정치—를 활용하는 새로운 정규화 방법을 제안한다. 이 방법은 학습 비용을 증가시키지 않으면서도 성능을 향상시킨다. 이러한 사전 계산된 저비용 지표를 정규화 신호로 사용함으로써, 예측 시간은 최대 1.84배 빨라지고 학습 시간은 1.45배 빨라지며, 고차 도함수 방법보다 뛰어난 성능을 보이며 모델 정확도를 유지한다.

ABSTRACT

Democratization of machine learning requires architectures that automatically adapt to new problems. Neural Differential Equations (NDEs) have emerged as a popular modeling framework by removing the need for ML practitioners to choose the number of layers in a recurrent model. While we can control the computational cost by choosing the number of layers in standard architectures, in NDEs the number of neural network evaluations for a forward pass can depend on the number of steps of the adaptive ODE solver. But, can we force the NDE to learn the version with the least steps while not increasing the training cost? Current strategies to overcome slow prediction require high order automatic differentiation, leading to significantly higher training time. We describe a novel regularization method that uses the internal cost heuristics of adaptive differential equation solvers combined with discrete adjoint sensitivities to guide the training process towards learning NDEs that are easier to solve. This approach opens up the blackbox numerical analysis behind the differential equation solver's algorithm and directly uses its local error estimates and stiffness heuristics as cheap and accurate cost estimates. We incorporate our method without any change in the underlying NDE framework and show that our method extends beyond Ordinary Differential Equations to accommodate Neural Stochastic Differential Equations. We demonstrate how our approach can halve the prediction time and, unlike other methods which can increase the training time by an order of magnitude, we demonstrate similar reduction in training times. Together this showcases how the knowledge embedded within state-of-the-art equation solvers can be used to enhance machine learning.

연구 동기 및 목표

• 신경미분방정식(NDEs)의 추론에서 높은 계산 비용 문제를 해결하기 위해, 적응형 ODE 솔버 단계에 의존하는 원인을 다루는 것.
• 학습 비용 증가 없이 예측 시간을 단축시키는 것—이는 NDE 구현의 주요 장애물이다.
• 고비용의 고차 도함수 대신 내부 솔버 통계를 사용하는 정규화 전략을 개발하여, 더 쉽게 풀 수 있는 역학으로 모델을 이끌어내는 것.
• 이 방법을 ODE를 넘어서 신경스토케스틱미분방정식(SDEs)으로 확장하여 광범위한 적용 가능성을 입증하는 것.
• 기존 NDE 프레임워크와 호환되는 즉시 사용 가능한 솔루션을 제공하여 커뮤니티의 넓은 채택을 가능하게 하는 것.

제안 방법

• 이 방법은 적응형 ODE 솔버가 통합 과정 중에 내부적으로 계산하는 국소 오차 추정치와 강성 히وري스틱 기반 정규화를 도입한다.
• 이러한 솔버 내부 지표는 저비용이고 정확한 비용 대체 지표로 기능하여, 신경망 함수 평가 횟수(NFEs)가 적은 NDE를 향해 학습 과정을 이끌어낸다.
• 이 정규화는 이산 애드조인트 민감도를 통해 구현되어, 기존 NDE 아키텍처를 수정하지 않고도 솔버의 내부 논리를 통해 효율적인 역전파를 가능하게 한다.
• 이 방법은 Julia 기반의 SciML 생태계를 사용해 구현되어 기존 NDE 프레임워크와 원활한 통합이 가능하다.
• 노이즈 인식 히وري스틱을 통합함으로써, 이는 자연스럽게 신경SDEs로 확장되며, 효율성과 정확도를 유지한다.
• 고차 자동미분을 피하므로 학습 효율성이 유지되면서도, 더 비싼 대안들과 비교해 유사한 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 내부 솔버 히وري스틱을 사용해 NDE를 정규화함으로써, 학습 비용 증가 없이 예측 시간을 단축시킬 수 있는가?
• RQ2 국소 오차 및 강성 추정치는 고차 도함수 기반 정규화와 비교해 추론 속도와 학습 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 이 정규화 전략은 ODE를 넘어서 대칭적 다중성 노이즈를 가진 신경SDEs로 일반화될 수 있는가?
• RQ4 솔버 내부 통계를 사용하면 추론 과정에서 수렴 속도가 빨라지고 함수 평가 횟수가 줄어들며, 모델 정확도는 유지되는가?
• RQ5 솔버나 모델 아키텍처를 수정하지 않고도 수치해석 히وري스틱을 활용해 NDE를 가속화할 수 있는 방법이 있는가?

주요 결과

• 제안된 방법은 감독 분류 및 시계열 작업 전반에서 예측 시간 평균 1.84배 가속화를 달성했으며, 나선형 방정식(Spiral equation)에서는 신경함수 평가 횟수(NFEs)를 1083.0에서 676.2로 감소시켰다.
• 학습 시간은 평균 1.45배 감소하여, NDE에서 정규화와 관련된 일반적으로 높은 계산 비용을 수반하지 않음을 입증했다.
• 국소 오차 및 강성 추정치 기반 정규화는 고차 도함수 방법과 유사한 성능을 달성하지만, 학습 시간 부담 없이 이를 달성한다.
• 이미지 분류 작업에서는 오차 기반 정규화가 더 효과적이었고, 시계열 문제에서는 강성 정규화가 더 큰 성과를 보였으며, 이는 과제 유형에 따라 최적의 정규화 유형이 다를 수 있음을 시사한다.
• 이 방법은 신경SDEs로 일반화 가능하며, 기존 NDE 프레임워크를 수정하지 않고 적용 가능하므로 넓은 적용이 가능하다.
• 이 방법은 솔버의 내부 히وري스틱을 활용함으로써 ODE 솔버의 '블랙박스'를 여는 데 성공했으며, 내장된 수치해석 지식이 딥러닝의 효율성을 향상시킬 수 있음을 입증했다.