[논문 리뷰] Do Residual Neural Networks discretize Neural Ordinary Differential Equations?

Michael E. Sander, Pierre Ablin외 1명|arXiv (Cornell University)|2022. 05. 29.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 깊이가 증가함에 따라 Residual Neural Networks(ResNets)가 Neural Ordinary Differential Equations(Neural ODEs)를 어떻게 근사하는지 분석하기 위해, ResNet의 궤적과 그에 대응하는 연속적인 ODE 해 사이의 이산화 오차를 조사한다. 깊이-부드러움 조건이 없을 경우 오차는 깊이에 비례해 사라지지 않지만, 경사하강법은 선형 ResNets를 $1/N$ 속도로 연속적인 ODE 근처로 암묵적으로 정규화한다. 또한 히운의 적분을 사용하는 메모리 없는 역전파 방법은 매우 깊은 네트워크를 낮은 메모리 사용량으로 안정적으로 훈련시킬 수 있다.

ABSTRACT

Neural Ordinary Differential Equations (Neural ODEs) are the continuous analog of Residual Neural Networks (ResNets). We investigate whether the discrete dynamics defined by a ResNet are close to the continuous one of a Neural ODE. We first quantify the distance between the ResNet's hidden state trajectory and the solution of its corresponding Neural ODE. Our bound is tight and, on the negative side, does not go to 0 with depth N if the residual functions are not smooth with depth. On the positive side, we show that this smoothness is preserved by gradient descent for a ResNet with linear residual functions and small enough initial loss. It ensures an implicit regularization towards a limit Neural ODE at rate 1 over N, uniformly with depth and optimization time. As a byproduct of our analysis, we consider the use of a memory-free discrete adjoint method to train a ResNet by recovering the activations on the fly through a backward pass of the network, and show that this method theoretically succeeds at large depth if the residual functions are Lipschitz with the input. We then show that Heun's method, a second order ODE integration scheme, allows for better gradient estimation with the adjoint method when the residual functions are smooth with depth. We experimentally validate that our adjoint method succeeds at large depth, and that Heun method needs fewer layers to succeed. We finally use the adjoint method successfully for fine-tuning very deep ResNets without memory consumption in the residual layers.

연구 동기 및 목표

• 깊이가 증가함에 따라 ResNet의 이산적 동역학이 해당 Neural ODE의 연속적 해로 수렴하는지 여부를 결정하는 것.
• 가중치 초기화 및 훈련 동역학이 한계 Neural ODE로 향하는 암묵적 정규화를 유도하는 방식을 조사하는 것.
• 백프로파게이션 중 활성화를 재구성함으로써 메모리 없는 역전파 방법을 개발하고 분석하는 것.
• 잔차 함수의 깊이에 따른 부드러움이 역전파 방법에서 기울기 근사 정확도에 미치는 영향을 평가하는 것.
• 제안된 역전파 방법이 잔차층에서 메모리 오버헤드 없이 매우 깊은 ResNets의 효과적인 피니팅을 가능하게 하는지 실험적으로 검증하는 것.

제안 방법

• 주어진 ResNet에 대응하는 Neural ODE를 정의하기 위한 프레임워크를 제안하며, 잔차 함수를 $1/N$으로 스케일링하여 ResNet 업데이트를 ODE의 오일러 이산화로 변환한다.
• ResNet의 은닉 상태 궤적과 해당 Neural ODE의 해 사이의 거리에 대한 이론적 경계를 유도하며, 잔차 함수가 깊이에 대해 부드럽지 않다면 오차가 사라지지 않음을 보여준다.
• 깊은 선형 ResNets에서의 경사하강법 동역학을 분석하고, 훈련된 가중치가 $1/N$ 속도로 리프시츠 함수로 균일 수렴함을 증명하며, 이는 한계 ODE로의 암묵적 정규화를 의미한다.
• 역시행 시간 오일러 스킴을 사용하여 메모리 없는 역방향 전파를 도입하며, 활성화를 실시간으로 재구성하고, 잔차 함수가 유계이면서 리프시츠 연속일 경우 오차가 $O(1/N)$ 이내로 제한됨을 보여준다.
• 기울기 근사 정확도를 향상시키기 위해 히운의 2차 ODE 적분 스킴을 사용하는 방법으로 확장하며, 오차는 잔차 함수의 깊이-부드러움에 비례하여 $O(1/N)$으로 스케일링된다.
• 사전 훈련된 연결된 가중치 모델에서 가중치를 풀어 매우 깊은 ResNets를 피니팅하기 위해 역전파 방법을 활용하며, 이로 인해 낮은 메모리 사용량의 훈련과 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 깊이 $N \to \infty$일 때, ResNet의 이산 궤적이 해당 Neural ODE의 해로 수렴하는가?
• RQ2 깊은 ResNet에서 경사하강법이 한계 Neural ODE로 향하는 암묵적 정규화를 유도하는 조건은 무엇인가?
• RQ3 메모리 없는 역전파 방법이 활성화를 저장하지 않고도 깊은 ResNets에서 기울기를 정확하게 재구성할 수 있는가?
• RQ4 잔차 함수의 깊이에 따른 부드러움이 역전파 방법에서 기울기 추정 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 역전파 방법이 잔차층에서 메모리 소비 없이 매우 깊은 ResNets의 성공적인 피니팅을 가능하게 하는가?

주요 결과

• 잔차 함수가 깊이에 대해 부드럽지 않다면, ResNet 궤적과 해당 Neural ODE의 해 사이의 오차는 깊이 $N$이 증가함에 따라 0으로 수렴하지 않는다.
• 작은 초기 손실을 가진 깊은 선형 ResNets의 경우, 경사하강법은 훈련된 매개변수들이 $1/N$ 속도로 리프시츠 함수로 균일 수렴함을 보장하며, 이는 한계 Neural ODE로의 암묵적 정규화를 의미한다.
• 역시행 시간 오일러 재구성 방식을 사용하는 메모리 없는 역전파 방법은 잔차 함수가 유계이면서 리프시츠 연속일 경우 기울기 추정 오차가 $O(1/N)$ 이내로 제한됨을 보여준다.
• 오일러 방법 대신 히운의 방법을 사용하면 기울기 근사가 향상되며, 오차는 잔차 함수의 깊이-부드러움에 비례하여 $O(1/N)$으로 스케일링되며, 이는 더 나은 훈련 안정성을 이끈다.
• 실험 결과는 역전파 방법이 잔차층에서 메모리 오버헤드 없이 매우 깊은 ResNets(예: ResNet-101)를 CIFAR-10 및 ImageNet에서 성공적으로 피니팅할 수 있음을 확인한다.
• 히운의 방법은 오일러 방법보다 더 적은 층 수로 수렴함을 보여주며, 이는 역전파 프레임워크 내에서 고차수 적분의 이론적 이점이 검증됨을 의미한다.