[논문 리뷰] Momentum Residual Neural Networks

Michael E. Sander, Pierre Ablin외 2명|arXiv (Cornell University)|2021. 02. 15.

Model Reduction and Neural Networks참고 문헌 48인용 수 12

한 줄 요약

이 논문은 모멘텀 항을 도입하여 정확한 역행과 메모리 사용을 크게 줄이는 새로운 역가능한 아키텍처인 모멘텀 잔차 신경망(Momentum ResNets)을 소개한다. 이전의 역가능한 네트워크와 달리, 모멘텀 ResNets는 표준 ResNets의 즉각적인 대체로 사용할 수 있으며, CIFAR-10, CIFAR-100 및 ImageNet에서 유사한 정확도를 달성하고, 기존의 역가능 모델이 실패하는 학습-최적화 설정에서도 성공적으로 수렴한다.

ABSTRACT

The training of deep residual neural networks (ResNets) with backpropagation has a memory cost that increases linearly with respect to the depth of the network. A way to circumvent this issue is to use reversible architectures. In this paper, we propose to change the forward rule of a ResNet by adding a momentum term. The resulting networks, momentum residual neural networks (Momentum ResNets), are invertible. Unlike previous invertible architectures, they can be used as a drop-in replacement for any existing ResNet block. We show that Momentum ResNets can be interpreted in the infinitesimal step size regime as second-order ordinary differential equations (ODEs) and exactly characterize how adding momentum progressively increases the representation capabilities of Momentum ResNets. Our analysis reveals that Momentum ResNets can learn any linear mapping up to a multiplicative factor, while ResNets cannot. In a learning to optimize setting, where convergence to a fixed point is required, we show theoretically and empirically that our method succeeds while existing invertible architectures fail. We show on CIFAR and ImageNet that Momentum ResNets have the same accuracy as ResNets, while having a much smaller memory footprint, and show that pre-trained Momentum ResNets are promising for fine-tuning models.

연구 동기 및 목표

• 백프로파게이션 중 활성화 저장으로 인해 발생하는 깊은 ResNets 훈련의 높은 메모리 비용을 해결하기 위해.
• 기존 ResNet 블록과의 호환성을 유지하는 역가능한 잔차 신경망 아키텍처를 개발하기 위해.
• 특히 메모리 제약 환경에서 메모리 효율적인 훈련과 미세조정을 가능하게 하기 위해.
• 모멘텀 강화된 잔차 네트워크의 이론적 표현 능력을 조사하기 위해.
• 이미지 분류 및 학습-최적화 벤치마크에서 방법의 실증적 검증을 위해.

제안 방법

• 모멘텀을 가진 속도 항을 도입하여 ResNet 잔차 블록을 수정하며, 업데이트 규칙은 다음과 같다: $ v_{n+1} = \gamma v_n + (1-\gamma)f(x_n, \theta_n) $, $ x_{n+1} = x_n + v_{n+1} $.
• 중간 활성화를 저장하지 않고도 기울기를 계산할 수 있도록, $ x_n $ 를 $ x_{n+1} $ 와 $ v_{n+1} $ 로 정확히 복원할 수 있도록 역가능성을 보장한다.
• 모멘텀 ResNets의 연속 근사치를 두 번째 차수 상미분방정식(ODE)로 분석한다.
• 이론적 분석 결과, 선형 잔차 함수를 사용할 경우 모멘텀 ResNets는 스칼라 인자까지 모든 선형 변환을 표현할 수 있으나, 표준 ResNets 는 그렇지 못하다.
• CIFAR-10, CIFAR-100, ImageNet 및 학습-최적화를 위한 학습된 ISTA(LISTA) 프레임워크에서 성능을 실증적으로 평가한다.
• 표준 ResNets를 최소한의 재훈련으로 모멘텀 ResNets로 변환할 수 있는 PyTorch 패키지를 제공한다.

실험 결과

연구 질문

• RQ1 ResNet의 전진 계산에 단순한 수정을 가함으로써, 성능을 저하시키지 않고도 메모리 사용을 줄일 수 있는 역가능한 아키텍처를 얻을 수 있는가?
• RQ2 연속 근사에서 모멘텀의 포함이 잔차 네트워크의 표현 능력에 어떤 영향을 미치는가?
• RQ3 기존의 역가능 네트워크가 실패하는 학습-최적화 작업에서 모멘텀 ResNets는 수렴할 수 있는가?
• RQ4 모멘텀 ResNets는 CIFAR 및 ImageNet과 같은 표준 비전 벤치마크로 얼마나 잘 일반화되는가?
• RQ5 미리 훈련된 모멘텀 ResNets는 최소한의 추가 훈련으로 효과적으로 미세조정될 수 있는가?

주요 결과

• 모멘텀 ResNets는 메모리 사용이 줄었음에도 불구하고, CIFAR-10, CIFAR-100 및 ImageNet에서 표준 ResNets와 유사한 테스트 정확도를 달성한다.
• 이 방법은 활성화의 정확한 역행을 가능하게 하여, 모멘텀 파rameter $ \gamma $ 를 조정함으로써 깊은 네트워크에서 메모리 비용을 거의 0에 가깝게 줄일 수 있다.
• 학습-최적화 설정(Learned-ISTA)에서 모멘텀 ResNets는 수렴하며, 역가능성 제약으로 인해 수렴하지 못하는 RevNet 기반 변종보다도 우수한 성능을 보인다.
• 이론적 분석 결과, 선형 잔차 함수를 사용할 경우 모멘텀 ResNets는 스칼라 인자까지 모든 선형 변환을 표현할 수 있으나, 표준 ResNets 는 그렇지 못하다.
• 미리 훈련된 모멘텀 ResNets는 몇 에포크의 추가 훈련만으로도 전체 훈련 수준의 성능에 근접한 성능을 달성할 수 있어, 메모리 제약 환경에서의 효율적 적응을 가능하게 한다.
• 이 프레임워크는 ResNet 블록에 대한 즉각적인 대체로 완전히 호환되며, 간편한 통합을 위한 PyTorch 패키지가 제공된다.