[논문 리뷰] How to train your neural ODE: the world of Jacobian and kinetic regularization

Chris Finlay, Jörn-Henrik Jacobsen외 2명|arXiv (Cornell University)|2020. 02. 07.

Model Reduction and Neural Networks참고 문헌 29인용 수 76

한 줄 요약

RNODE는 두 가지 정규화 항(운동 에너지와 Jacobian Frobenius 노름)을 신경 ODE에 도입하여 더 단순하고 더 규칙적인 다이나믹스를 촉진함으로써 성능 저하 없이 학습 속도를 향상시킵니다.

ABSTRACT

Training neural ODEs on large datasets has not been tractable due to the necessity of allowing the adaptive numerical ODE solver to refine its step size to very small values. In practice this leads to dynamics equivalent to many hundreds or even thousands of layers. In this paper, we overcome this apparent difficulty by introducing a theoretically-grounded combination of both optimal transport and stability regularizations which encourage neural ODEs to prefer simpler dynamics out of all the dynamics that solve a problem well. Simpler dynamics lead to faster convergence and to fewer discretizations of the solver, considerably decreasing wall-clock time without loss in performance. Our approach allows us to train neural ODE-based generative models to the same performance as the unregularized dynamics, with significant reductions in training time. This brings neural ODEs closer to practical relevance in large-scale applications.

연구 동기 및 목표

• 대규모 데이터셋에서 적응형 솔버와 심층 이산화로 인한 신경 ODE 학습의 어려움을 모티브로 삼는다.
• 더 간단하고 잘 작동하는 다이나믹스를 촉진하도록 이론적으로 근거 있는 정규화 항을 제안한다.
• 정규화가 신경 ODE 기반 생성 모델의 학습 속도를 성능 저하 없이 증가시킨다는 것을 입증한다.

제안 방법

• 최적 운송 및 흐름 정규화에서 유도된 두 가지 정규화 항: 흐름의 운동 에너지와 야코비 행렬의 Frobenius 노름.
• 추가 상태 변수를 통해 이 페널티를 FFJORD 연속 정규화 흐름에 첨가하여 운동 에너지 및 야코비 비용을 추적한다.
• 몬테카를로 추적 추정기로 발산 항 및 야코비 항을 추정하여 확장 가능한 학습을 가능하게 한다.
• 역전파를 위한 adjoint 민감도 기법을 사용하여 확장된 목적의 그래디언트를 계산한다.
• RNODE는 학습 중에 고정 그리드 솔버를 사용할 수 있으면서도 성능을 유지하여 더 빠른 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 운동 에너지 및 Jacobian 정규화가 가능도 성능을 해치지 않으면서 더 학습이 용이한 신경 ODE를 제공할 수 있는가?
• RQ2 이들 정규화가 더 매끄럽고 더 적분 가능한 다이나믹스를 만들어 실제 wall-clock 시간 기준으로 더 빠른 학습으로 이어지는가?
• RQ3 RNODE 정규화가 학습된 흐름의 최적 수송 형식과 어떤 관련이 있는가?
• RQ4 표준 생성 모델 벤치마크에서 RNODE가 학습 안정성 및 계산 비용(예: 함수 평가 수)에 미친 실증적 영향은 무엇인가?

주요 결과

• RNODE는 FFJORD와 유사한 로그 가능도(log-likelihood)를 달성하면서 학습 시간을 크게 단축한다(예: 보고된 속도향상과 유지된 성능).
• 정규화 항은 야코비안 증가를 억제하고 직선적이며 일정 속도 궤적을 촉진하여 학습 다이나믹스의 수치적 적분성을 향상시킨다.
• 운동 에너지 항과 Jacobian 정규화는 서로 독립적으로 솔버 스텝 수를 줄이고 학습을 안정화시키며, 이는 제거 연구(ablation studies)에서 보여준다.
• RNODE의 정규화는 FFJORD에서 기존 발산 추정 및 야코비-벡터 계산을 활용하여 추가 비용이 거의 없으면서 대규모 데이터셋에 실용적 배치를 가능하게 한다.