[논문 리뷰] STEER : Simple Temporal Regularization For Neural ODE

Arnab Ghosh, Harkirat Behl외 3명|arXiv (Cornell University)|2020. 01. 01.

Model Reduction and Neural Networks인용 수 14

한 줄 요약

이 논문은 신경 미분방정식(Neural ODEs)을 위한 단순한 시간 정규화 방법인 STEER를 소개한다. 이 방법은 훈련 중에 랜덤으로 종료 시간을 샘플링하여 최적화 안정성을 향상시키고 계산 비용을 줄인다. 이 기법은 최소한의 오버헤드를 요구하며, 정규화 흐름, 시계열 모델링, 이미지 인식 등의 다양한 작업에서 수렴 속도를 가속화하고 기준 성능을 개선하거나 유지한다.

ABSTRACT

Training Neural Ordinary Differential Equations (ODEs) is often computationally expensive. Indeed, computing the forward pass of such models involves solving an ODE which can become arbitrarily complex during training. Recent works have shown that regularizing the dynamics of the ODE can partially alleviate this. In this paper we propose a new regularization technique: randomly sampling the end time of the ODE during training. The proposed regularization is simple to implement, has negligible overhead and is effective across a wide variety of tasks. Further, the technique is orthogonal to several other methods proposed to regularize the dynamics of ODEs and as such can be used in conjunction with them. We show through experiments on normalizing flows, time series models and image recognition that the proposed regularization can significantly decrease training time and even improve performance over baseline models.

연구 동기 및 목표

• 역전파 중 반복적인 ODE 해법으로 인해 신경 미분방정식 훈련의 계산 비용이 높아지는 문제를 해결하기 위해.
• 신경 미분방정식의 시간 동역학을 정규화하면 훈련 효율성과 일반화 성능이 향상되는지 탐색하기 위해.
• 기존 방법과 조합할 수 있는 경량이며 상호직교적인 정규화 기법을 개발하기 위해.
• 정규화 흐름, 시계열, 이미지 분류를 포함한 다양한 기계 학습 작업에서 랜덤 종료 시간 샘플링의 효과를 평가하기 위해.

제안 방법

• 이 방법은 신경 미분방정식 훈련의 전진 계산 단계에서 종료 시간을 사전에 정의된 간격 내의 균일 분포에서 무작위로 추출함으로써 구현된다.
• 이러한 랜덤화는 다양한 시간 간격에서 더 매끄럽고 일반화 능력이 뛰어난 궤적을 학습하도록 모델을 유도함으로써 ODE 동역학을 정규화한다.
• 이 기법은 최소한의 코드 수정으로도 구현 가능하며, 각 전진 계산 단계에서 ODE 솔버의 종료 시간만 변경하면 된다.
• 이 방법은 리프시츠 제약 조건이나 잔류 연결과 같은 기존 정규화 기법과 상호직교하므로, 이들과 함께 사용할 수 있다.
• 모델 아키텍처를 변경하거나 추가 파라미터를 요구하지 않아 계산 효율성을 유지한다.
• 역전파 과정에서는 표준 ODE 애드조인트 방법을 그대로 사용하므로, 훈련 과정의 미분 가능성은 그대로 유지된다.

실험 결과

연구 질문

• RQ1 신경 미분방정식의 ODE 해법에 대한 계산 부담을 줄이기 위해 훈련 중에 랜덤 종료 시간 샘플링을 적용할 수 있는가?
• RQ2 랜덤 종료 시간 선택을 통한 시간 정규화가 하류 작업에서 일반화 능력이나 테스트 성능을 향상시키는가?
• RQ3 훈련 속도와 모델 정확도 측면에서 기존 정규화 기법과 비교해 STEER는 어떻게 성능을 내는가?
• RQ4 이 방법은 성능 저하 없이 다른 정규화 전략과 효과적으로 조합될 수 있는가?
• RQ5 이 기법은 정규화 흐름, 시계열 모델링, 이미지 인식과 같은 다양한 작업에 일반화되는가?

주요 결과

• STEER는 정규화 흐름과 시계열 모델을 포함한 다양한 벤치마크에서 훈련 시간을 크게 줄였으며, 추론 비용은 증가시키지 않았다.
• 이 빠른 훈련 기간 동안에도 이미지 인식 작업에서 기준 모델 성능을 개선하거나 동등하게 유지한다.
• 이 정규화 기법은 다양한 아키텍처와 작업에 효과적이며, 광범위한 적용 가능성을 보여준다.
• 기존 정규화 방법과의 상호직교성 덕분에, 조합했을 때 추가적인 성능 향상을 이룰 수 있다.
• 이 기법은 거의 무시할 수 없는 계산 오버헤드를 유발하므로 실세계 구현에 실용적이다.
• 실험 결과에 따르면, 랜덤 종료 시간 샘플링이 훈련 동역학을 안정화시키고 수렴 속도를 높인다.