[논문 리뷰] m-RevNet: Deep Reversible Neural Networks with Momentum

Duo Li, Shanghua Gao|arXiv (Cornell University)|2021. 08. 12.

Advanced Neural Network Applications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 두 번째 순서 상미분방정식(ODE)을 통해 아키텍처를 모델링함으로써 잔차 블록에 운동량을 통합하는 새로운 가역 신경망인 m-RevNet을 제안한다. 가역 동역학과 운동량을 활용함으로써 m-RevNet은 표준 ResNet이 실패하는 도전적인 학습 환경에서도 더 높은 메모리 효율성과 성능을 달성한다.

ABSTRACT

In recent years, the connections between deep residual networks and first-order Ordinary Differential Equations (ODEs) have been disclosed. In this work, we further bridge the deep neural architecture design with the second-order ODEs and propose a novel reversible neural network, termed as m-RevNet, that is characterized by inserting momentum update to residual blocks. The reversible property allows us to perform backward pass without access to activation values of the forward pass, greatly relieving the storage burden during training. Furthermore, the theoretical foundation based on second-order ODEs grants m-RevNet with stronger representational power than vanilla residual networks, which potentially explains its performance gains. For certain learning scenarios, we analytically and empirically reveal that our m-RevNet succeeds while standard ResNet fails. Comprehensive experiments on various image classification and semantic segmentation benchmarks demonstrate the superiority of our m-RevNet over ResNet, concerning both memory efficiency and recognition performance.

연구 동기 및 목표

• 더 깊은 신경망 설계를 두 번째 순서 ODE와 연결하여 표현 능력을 향상시키기 위해.
• 깊은 신경망 학습의 높은 메모리 비용 문제를 해결하기 위해 활성치를 저장하지 않고도 기울기 계산이 가능하도록 하기 위해.
• 표준 ResNet이 실패하는 학습 환경에서도 강력한 성능을 유지할 수 있는 가역 아키텍처를 개발하기 위해.
• 운동량 통합의 이점을 이론적이고 실증적으로 검증하기 위해.

제안 방법

• 잔차 블록의 동역학을 두 번째 순서 ODE로 모델링하여 네트워크의 은닉 상태 진화에 운동량을 통합하기 위해.
• 전진 계산이 가역적이도록 설계된 가역 아키텍처를 통해 백프로파게이션 중 중간 활성치를 저장할 필요 없이 구현하기 위해.
• 두 번째 순서 ODE 수식에서 유도된 운동량 항을 잔차 블록 업데이트 규칙에 통합하기 위해.
• 각 블록의 출력이 입력으로부터 학습된 역함수를 사용해 정확하게 복원될 수 있도록 네트워크를 구성함으로써 변환의 가역성을 확보하기 위해.
• 가역 ODE 해법기와 호환되는 이산화 기법을 사용하여 네트워크를 엔드 투 엔드로 훈련하기 위해.
• 은닉 상태 진화가 두 번째 순서 동역학계에 의해 지배되도록 네트워크를 구성함으로써, 첫 번째 순서 ODE 기반 ResNet보다 더 풍부한 표현 동역학을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 운동량을 고려한 두 번째 순서 ODE로 잔차 블록을 모델링하면, 첫 번째 순서 ODE 기반 ResNet보다 더 높은 표현 능력을 달성할 수 있는가?
• RQ2 가역 아키텍처에 운동량을 통합하면, 표준 ResNet이 실패하는 도전적인 학습 과제에서 성능 향상이 이루어지는가?
• RQ3 m-RevNet의 가역성은 표준 ResNet 대비 훈련 중 메모리 소비를 얼마나 줄이는가?
• RQ4 두 번째 순서 ODE에 기반한 이론적 기초는 m-RevNet의 실증적 성능 향상 원리를 어떻게 설명하는가?

주요 결과

• m-RevNet은 CIFAR-10, CIFAR-100, ImageNet을 포함한 여러 이미지 분류 벤치마크에서 ResNet보다 높은 정확도를 달성한다.
• 세분화 과제에서 m-RevNet은 메모리 사용량을 낮게 유지하면서도 ResNet을 능가하는 뛰어난 성능을 보여준다.
• 일부 학습 환경에서는 m-RevNet은 성공적으로 훈련되고 수렴하는 반면, 표준 ResNet은 효과적으로 학습에 실패한다.
• m-RevNet의 가역 아키텍처는 중간 활성치를 저장할 필요 없이 메모리 효율적인 훈련을 가능하게 한다.
• 이론적 분석을 통해 두 번째 순서 ODE 수식이 첫 번째 순서 ODE 기반 ResNet보다 더 강력한 표현 능력을 m-RevNet에 부여함을 확인했다.
• 실증 결과를 통해 운동량 통합이 특히 깊은 아키텍처에서 최적화 동역학을 향상시킨다는 것이 입증되었다.