[논문 리뷰] STEER: Simple Temporal Regularization For Neural ODEs

Arnab Ghosh, Harkirat Behl외 3명|arXiv (Cornell University)|2020. 06. 18.

Model Reduction and Neural Networks참고 문헌 57인용 수 16

한 줄 요약

이 논문은 신경 미분방정식(Neural ODEs)에 대한 간단한 시간 정규화 기법인 STEER을 제안한다. 이 기법은 훈련 중에 통합 종료 시간을 무작위로 변형함으로써 ODE의 역학을 단순화시킨다. STEER는 정규화 흐름, 시계열, 이미지 인식 등 다양한 분야에서 훈련 시간과 함수 평가 횟수를 감소시키며, 기존의 정규화 방법들과 수직이면서도 강한 ODE 문제에서 성능을 향상시킨다.

ABSTRACT

Training Neural Ordinary Differential Equations (ODEs) is often computationally expensive. Indeed, computing the forward pass of such models involves solving an ODE which can become arbitrarily complex during training. Recent works have shown that regularizing the dynamics of the ODE can partially alleviate this. In this paper we propose a new regularization technique: randomly sampling the end time of the ODE during training. The proposed regularization is simple to implement, has negligible overhead and is effective across a wide variety of tasks. Further, the technique is orthogonal to several other methods proposed to regularize the dynamics of ODEs and as such can be used in conjunction with them. We show through experiments on normalizing flows, time series models and image recognition that the proposed regularization can significantly decrease training time and even improve performance over baseline models.

연구 동기 및 목표

• 신경 미분방정식 훈련의 높은 계산 비용을 해결하기 위해, 최적화 과정에서 증가하는 함수 평가 횟수의 원인을 제거한다.
• 신경 미분방정식의 역학을 단순화하여 함수 평가 횟수를 줄이고 훈련 속도를 향상시킨다.
• 기존 기법들과 호환되며 계산 비용이 낮은 정규화 방법을 개발한다.
• 특히 강한 ODE 문제와 비정규적으로 샘플링된 시계열과 같은 어려운 경우에서 일반화 및 강인성을 향상시킨다.
• 모델 아키텍처의 변경 없이도 무작위 종료 시간 변형이 더 안정적이고 효율적인 훈련을 이끌 수 있음을 입증한다.

제안 방법

• 훈련 중에 ODE 통합의 종료 시간 $ t_1 $ 가 무작위로 $ t_1 \pm \theta $ 로 변형되며, 여기서 $ \theta $ 는 균일 분포에서 추출된 랜덤 변수이다.
• 각 훈련 배치마다 독립적으로 변형이 적용되어 시간 통합 범위에 대한 확률적 특성을 도입한다.
• 코드 수정이 최소한으로 필요하며, 오직 ODE 솔버의 통합 간격만 수정하면 된다.
• 이 정규화 방법은 증강 신경 ODEs나 최적 운반 기반 정규화와 같은 기존 방법들과 수직이다.
• 모델 아키텍처나 손실 함수를 변경하지 않으며, 오직 시간적 변형에 의존하여 더 단순한 역학을 유도한다.
• 전진 및 역전파 과정 모두에 이 기법을 적용하며, 표준 신경 ODE와 동일하게 애드조인트 방법을 통해 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 ODE 통합 종료 시간의 무작위 변형이 신경 ODE에서 더 단순하고 안정적인 역학을 이끌 수 있는가?
• RQ2 이 시간 정규화가 훈련 및 추론 과정에서 함수 평가 횟수를 줄이는가?
• RQ3 STEER는 연속 정규화 흐름과 비정규적으로 샘플링된 시계열과 같은 어려운 작업에서 성능을 향상시킬 수 있는가?
• RQ4 강한 ODE 문제에서 STEER는 어떻게 성능을 발휘하는가? 여기서 표준 솔버는 안정적인 역학을 학습하지 못한다.
• RQ5 이 방법은 기존 신경 ODE 정규화 기법들과 호환되며 상호 보완적인가?

주요 결과

• STEER는 정규화 흐름과 시계열 모델링을 포함한 다양한 작업에서 훈련 시간과 함수 평가 횟수를 크게 감소시킨다.
• 비정규적으로 샘플링된 시계열 벤치마크에서, STEER는 특히 주기적 성분에 선형 추세($ t $)를 추가했을 때 진정한 신호의 정성적 행동과 더 잘 일치하는 궤적을 생성한다.
• 이미지 인식 및 정규화 흐름 작업에서, 무정규화 모델과 비교해 성능을 향상시키거나 동등하게 유지하면서도 수렴 속도가 빠르다.
• 강한 ODE 문제에서 STEER는 표준 신경 ODE가 안정적인 역학을 학습하지 못하는 상황에서 뛰어난 성능을 발휘한다.
• 증강 신경 ODEs나 최적 운반 기반 정규화와 같은 기존 방법들과 수직이므로, 병합했을 때 추가적인 성능 향상을 이끌 수 있다.
• 실험 결과에 따르면, STEER로 훈련된 모델은 벡터 필드 비교를 통해 더 단순한 흐름을 학습함을 확인할 수 있었으며, 이는 더 빠르고 안정적인 훈련을 이끌어낸다.