[논문 리뷰] When are Neural ODE Solutions Proper ODEs

Katharina Ott, Prateek Katiyar외 2명|arXiv (Cornell University)|2020. 07. 30.

Model Reduction and Neural Networks참고 문헌 41인용 수 6

한 줄 요약

이 논문은 훈련된 신경미분방정식(Neural ODEs)이 훈련 중에 사용된 굵은 수치적 해법에 의존함으로써 실제 ODE 흐름을 올바르게 표현하지 못함을 밝혀내며, 이로 인해 다른 해법으로 테스트할 경우 성능 저하가 발생함을 확인한다. 본 논문은 과도한 계산 비용 없이 유효한 ODE 해를 보장하는 훈련 중 적응형 단계 크기 방법을 제안하며, 기준 데이터셋과 새로운 ODE 기반 분류 데이터셋을 포함한 합성 데이터셋에서 검증된다.

ABSTRACT

A key appeal of the recently proposed Neural Ordinary Differential Equation(ODE) framework is that it seems to provide a continuous-time extension of discrete residual neural networks. As we show herein, though, trained Neural ODE models actually depend on the specific numerical method used during training. If the trained model is supposed to be a flow generated from an ODE, it should be possible to choose another numerical solver with equal or smaller numerical error without loss of performance. We observe that if training relies on a solver with overly coarse discretization, then testing with another solver of equal or smaller numerical error results in a sharp drop in accuracy. In such cases, the combination of vector field and numerical method cannot be interpreted as a flow generated from an ODE, which arguably poses a fatal breakdown of the Neural ODE concept. We observe, however, that there exists a critical step size beyond which the training yields a valid ODE vector field. We propose a method that monitors the behavior of the ODE solver during training to adapt its step size, aiming to ensure a valid ODE without unnecessarily increasing computational cost. We verify this adaption algorithm on two common bench mark datasets as well as a synthetic dataset. Furthermore, we introduce a novel synthetic dataset in which the underlying ODE directly generates a classification task.

연구 동기 및 목표

• 훈련된 신경미분방정식 모델이 진정으로 ODE에 의해 생성된 흐름을 대변하는지, 아니면 특정 수치적 해법에 의존하는 산물인지 조사하기.
• 신경미분방정식이 유효한 ODE 해로 간주될 수 있는 임계 단계 크기를 규명하기.
• 모델이 진정한 ODE에 대응하도록 훈련 중 해법의 단계 크기를 적응적으로 조정하는 방법을 개발하여 불필요한 계산 오버헤드를 피하기.
• 기존 표준 기준 데이터셋과 ODE 기반 분류 작업을 직접 구현한 새로운 합성 데이터셋에서 제안된 방법을 검증하기.

제안 방법

• 훈련 중 ODE 해법의 행동을 모니터링하여 단계 크기를 동적으로 조정하는 방법을 사용한다.
• 모델가 진정한 ODE 흐름으로 간주될 수 있도록 단계 크기가 임계 임계값 이하로 유지되도록 보장한다.
• 해법 의존적인 성능 저하를 유발하는 과도하게 굵은 이산화를 피하기 위해 알고리즘을 설계한다.
• 불필요하게 작은 단계 크기를 사용하지 않음으로써 계산 효율성을 유지한다.
• 두 개의 기준 데이터셋과 ODE 기반 분류를 테스트하기 위해 설계된 합성 데이터셋에서 방법을 평가한다.
• ODE 벡터장이 직접 분류 작업을 인코딩하는 새로운 합성 데이터셋을 제안한다.

실험 결과

연구 질문

• RQ1 훈련된 신경미분방정식은 진정한 ODE에 의해 생성된 흐름으로 간주될 수 있는가, 아니면 특정 수치적 해법에 의존하는가?
• RQ2 신경미분방정식이 유효한 ODE 해로 간주될 수 있는 임계 단계 크기는 무엇인가?
• RQ3 훈련 중 단계 크기를 적응적으로 조정하면 다양한 해법 간에 성능 저하 없이 일반화된 모델이 생성되는가?
• RQ4 ODE 벡터장이 직접 분류 작업을 생성하도록 할 수 있는 합성 데이터셋을 구성할 수 있는가?

주요 결과

• 과도하게 굵은 단계 크기로 훈련하면 다른 해법으로 테스트할 경우 성능 저하가 발생함을 확인하여, 모델이 진정한 ODE 흐름이 아님을 시사한다.
• 모델가 유효한 ODE 해로 간주될 수 있는 임계 단계 크기가 존재함을 규명한다.
• 제안된 적응형 단계 크기 방법은 계산 비용 증가 없이 유효한 ODE 행동을 성공적으로 보장한다.
• 다양한 해법으로 테스트했을 때 일관된 성능 유지를 확인하여, 모델가 진정한 ODE 흐름으로 행동함을 확인한다.
• 새로운 합성 데이터셋을 통해 ODE의 벡터장이 직접 분류 작업을 생성할 수 있음을 성공적으로 입증한다.