[논문 리뷰] Discretize-Optimize vs. Optimize-Discretize for Time-Series Regression and Continuous Normalizing Flows

Derek Onken, Lars Ruthotto|arXiv (Cornell University)|2020. 05. 27.

Time Series Analysis and Forecasting참고 문헌 38인용 수 27

한 줄 요약

이 논문은 시계열 회귀 및 연속 정규화 흐름(CNF)에서 신경 미분방정식(ODE)을 훈련하기 위한 이산화-최적화(Disc-Opt)와 최적화-이산화(Opt-Disc) 접근법을 비교한다. Disc-Opt는 ODE 해법기 정밀도에 관계없이 기울기 정확도를 유지함으로써 Opt-Disc와 유사한 추론 성능을 달성하면서도 훈련 시간을 39%에서 97%까지 단축시킨다. 한 경우에서는 훈련 시간을 아홉 날에서 일일 이하로 줄였다.

ABSTRACT

We compare the discretize-optimize (Disc-Opt) and optimize-discretize (Opt-Disc) approaches for time-series regression and continuous normalizing flows (CNFs) using neural ODEs. Neural ODEs are ordinary differential equations (ODEs) with neural network components. Training a neural ODE is an optimal control problem where the weights are the controls and the hidden features are the states. Every training iteration involves solving an ODE forward and another backward in time, which can require large amounts of computation, time, and memory. Comparing the Opt-Disc and Disc-Opt approaches in image classification tasks, Gholami et al. (2019) suggest that Disc-Opt is preferable due to the guaranteed accuracy of gradients. In this paper, we extend the comparison to neural ODEs for time-series regression and CNFs. Unlike in classification, meaningful models in these tasks must also satisfy additional requirements beyond accurate final-time output, e.g., the invertibility of the CNF. Through our numerical experiments, we demonstrate that with careful numerical treatment, Disc-Opt methods can achieve similar performance as Opt-Disc at inference with drastically reduced training costs. Disc-Opt reduced costs in six out of seven separate problems with training time reduction ranging from 39% to 97%, and in one case, Disc-Opt reduced training from nine days to less than one day.

연구 동기 및 목표

• 시계열 회귀 및 연속 정규화 흐름(CNF)에서 신경 ODE 훈련을 위한 Disc-Opt와 Opt-Disc 간의 성능-비용 상호 간섭을 평가하기 위해.
• 낮은 계산 비용에도 불구하고 모델 품질, 특히 CNF에서의 가역성 등 핵심 특성을 유지하는지 평가하기 위해.
• 실제 과학 기반 머신 러닝 작업에서 훈련 시간 단축과 성능 상충 관계를 정량화하기 위해.
• Opt-Disc와 달리, 낮은 정밀도의 ODE 해법기 사용 시에도 Disc-Opt 기울기가 정확하게 유지되는지 검증하기 위해.
• 이미지 분류 외의 실제 문제에서 Disc-Opt가 이전에 연구된 바 있는 이미지 분류 영역을 넘어서 실용적인 효율성 향상을 보여주기 위해.

제안 방법

• ODE 제약 조건과 정규화된 손실 최소화를 포함하는 최적 제어 문제로 신경 ODE 훈련을 수식화한다.
• 폰트리아긴의 최대 원리(pontryagin’s maximum principle)를 사용해 연속 최적성 시스템을 유도하고, 기울기 계산을 위한 수반 ODE를 도출한다.
• Disc-Opt를 적용하기 위해 먼저 ODE를 이산화(앞서 오일러 방법 사용)하고, 이후 자동 미분을 통해 유한 차원 최적화 문제를 해결한다.
• Opt-Disc에서는 이산 수반 역전파와 역전파 오일러 방법을 사용하여 정방향 단계 이후 시간 점에서 기울기를 계산한다.
• 뒤집힌 ODE 적분의 수치적 불안정성 문제를 완화하기 위해 정방향-역방향 안정성 네트워크와 수반 해법기를 활용한다.
• 다양한 ODE 해법기 정밀도를 사용하여 기울기 정확도와 훈련 비용 간 상충 관계를 비교하기 위해 두 방법 모두를 구현한다.

실험 결과

연구 질문

• RQ1 Disc-Opt는 시계열 회귀 및 CNF에서 Opt-Disc와 유사한 추론 성능을 달성하면서도 훈련 비용을 줄일 수 있는가?
• RQ2 낮은 정밀도의 ODE 해법기를 사용할 경우 Disc-Opt의 기울기 정확도는 Opt-Disc와 비교해 어떻게 되는가?
• RQ3 다양한 시계열 및 CNF 작업에서 Disc-Opt가 달성할 수 있는 훈련 시간 단축의 정도는 어느 정도인가?
• RQ4 Disc-Opt는 연속 정규화 흐름에서 중요한 요구 조건인 가역성을 유지하는가?
• RQ5 계산 효율성과 수렴 안정성 측면에서 Disc-Opt가 Opt-Disc를 초월하는 상황은 어떤 경우인가?

주요 결과

• 한 시계열 회귀 문제에서 Disc-Opt는 훈련 시간을 97% 단축시켜 아홉 날에서 일일 이하로 줄였다.
• 시험한 일곱 문제 중 여섯 개에서 Disc-Opt는 39%에서 97%까지의 상당한 훈련 시간 단축을 달성했다.
• 낮은 정밀도의 ODE 해법기를 사용함에도 불구하고 Disc-Opt는 Opt-Disc와 유사한 추론 성능을 유지했다.
• Disc-Opt의 기울기 정확도는 ODE 해법기 정밀도에 영향을 받지 않지만, Opt-Disc는 해법기가 정확도가 떨어질 경우 기울기가 열악해지는 경향이 있다.
• Disc-Opt는 연속 정규화 흐름에서 가역성을 유지하며, CNF 기반 생성 모델링의 핵심 요구 조건을 충족시킨다.
• Disc-Opt는 자동 미분를 통해 쉽게 구현할 수 있으며, Opt-Disc에서 발생하는 시간 역전 ODE 해법의 수치적 불안정성 문제를 피할 수 있다.