[논문 리뷰] ResNet After All? Neural ODEs and Their Numerical Solution

Katharina Ott, Prateek Katiyar외 2명|arXiv (Cornell University)|2020. 07. 30.

Model Reduction and Neural Networks참고 문헌 37인용 수 6

한 줄 요약

이 논문은 조밀한 수치적 해법을 사용해 훈련된 신경미분방정식(Neural ODEs)이 진정한 ODE 흐름을 표현하지 못함을 보여주며, 다른 해법을 사용해 테스트할 경우 성능이 급격히 떨어진다. 유효한 ODE 해석을 보장하기 위해, 저자들은 훈련 중 해법의 동작을 모니터링하여 과도한 계산 비용 없이 수치적 일관성을 유지하는 적응형 단계 크기 알고리즘을 제안한다. 이는 합성 데이터와 CIFAR-10 데이터셋에서 검증되었다.

ABSTRACT

A key appeal of the recently proposed Neural Ordinary Differential Equation (ODE) framework is that it seems to provide a continuous-time extension of discrete residual neural networks. As we show herein, though, trained Neural ODE models actually depend on the specific numerical method used during training. If the trained model is supposed to be a flow generated from an ODE, it should be possible to choose another numerical solver with equal or smaller numerical error without loss of performance. We observe that if training relies on a solver with overly coarse discretization, then testing with another solver of equal or smaller numerical error results in a sharp drop in accuracy. In such cases, the combination of vector field and numerical method cannot be interpreted as a flow generated from an ODE, which arguably poses a fatal breakdown of the Neural ODE concept. We observe, however, that there exists a critical step size beyond which the training yields a valid ODE vector field. We propose a method that monitors the behavior of the ODE solver during training to adapt its step size, aiming to ensure a valid ODE without unnecessarily increasing computational cost. We verify this adaptation algorithm on a common bench mark dataset as well as a synthetic dataset.

연구 동기 및 목표

• 훈련된 신경미분방정식 모델이 진정한 연속적인 ODE 흐름을 표현하는지 아니면 특정 수치적 해법에 의존하는지 조사하기.
• 수치적 이산화 오차로 인해 신경미분방정식이 ODE 유사 성질을 유지를 못하는 조건을 규명하기.
• 추론 시 해법 선택에 관계없이 모델이 유효한 ODE 흐름을 유지할 수 있도록 하는 방법 개발하기.
• 최적의 단계 크기를 찾기 위한 비용이 많이 드는 그리드 서치가 필요 없도록, 훈련 중에 해법 파rameter를 동적으로 적응시키기.
• 고정 및 적응형 해법을 사용하여 합성 및 실제 데이터셋(CIFAR-10)에서 제안된 방법의 효과성을 검증하기.

제안 방법

• 훈련 중 ODE 해법의 수치 오차 행동을 모니터링하여 해법이 너무 조밀하지 않은지 감지하는 단계 크기 적응 알고리즘 제안.
• 피카르드-린델뢰프 정리(의 이론적 기초 사용: 위상 공간에서 궤적이 교차하면, 그 해법은 진정한 ODE 흐름일 수 없다.
• 모델이 ODE 일관성을 유지하는 데 필요한 임계 단계 크기를 정의하고, 이를 초과하도록 단계 크기를 적응적으로 조정.
• 훈련 중에 이 적응 알고리즘을 적용하여 특정 해법 설정에 의존하지 않도록 하여 수치적 안정성과 일관성을 확보.
• 고정 단계와 적응 단계 해법(Dormand-Prince 등)을 모두 사용하여 다양한 수치적 통합 기법에서 방법의 유효성 검증.
• 훈련 중 전역 수치 오차를 모니터링하고 정확성과 계산 비용의 균형을 유지하도록 단계 크기를 조정.

실험 결과

연구 질문

• RQ1 훈련된 신경미분방정식의 성능이 추론 시 사용된 특정 수치적 해법에 의존하는가?
• RQ2 수치적 이산화로 인해 신경미분방정식이 어떤 조건에서 진정한 ODE 흐름을 표현하지 못하는가?
• RQ3 훈련 중 적응형 단계 크기 전략을 통해 모델이 추론 시 해법 선택에 관계없이 유효한 ODE 흐름을 유지할 수 있는가?
• RQ4 수치적 전역 오차의 편향이 모델의 일반화 능력과 견고성에 어떤 영향을 미치는가?
• RQ5 제안된 적응 알고리즘이 성능을 유지하거나 향상시키면서 고비용 그리드 서치를 대체할 수 있는가?

주요 결과

• 큰 단계 크기로 훈련된 신경미분방정식은 위상 공간에서 궤적이 교차하며, 피카르드-린델뢰프 정리가 보장하는 유일성 원칙을 위반하여 진정한 ODE 흐름을 표현하지 못함을 나타낸다.
• 같거나 더 작은 수치 오차를 가진 다른 해법으로 테스트할 경우, 조밀한 해법을 사용해 훈련한 모델의 정확도가 급격히 떨어지며, 이는 해법 의존성의 확인이다.
• 모델이 ODE 일관성을 유지하는 데 필요한 임계 단계 크기가 존재하며, 이 임계값 이하로 떨어지면 모델은 훈련 시 사용된 특정 해법에 의존하게 된다.
• 제안된 단계 적응 알고리즘은 2D 동심 구체 데이터셋에서 단지 100.5 NFE로 98.9% ± 0.6%의 정확도를 달성했으며, 그리드 서치(65–129 NFE에서 98.7% ± 1.0%)를 능가한다.
• CIFAR-10에서는 21.9 NFE로 55.0% ± 0.8%의 정확도를 기록했으며, 그리드 서치 기반 베이스라인(17–33 NFE에서 54.7% ± 0.3%)을 약간 앞서는 성능을 보였다.
• 적응 알고리즘이 해법을 전환했을 때 관찰된 성능 저하를 성공적으로 방지하여, 다양한 수치적 통합 기법에서도 모델이 유효한 ODE 흐름임을 확인했다.