[논문 리뷰] Reversible Architectures for Arbitrarily Deep Residual Neural Networks

Bo Chang, Lili Meng외 4명|arXiv (Cornell University)|2017. 09. 12.

Model Reduction and Neural Networks참고 문헌 42인용 수 71

한 줄 요약

이 논문은 ODE에서 영감을 받아 심층 ResNet 유사 모델의 세 가지 안정적이고 가역적인 아키텍처를 제시하여, 메모리 효율적인 임의 깊이의 네트워크 학습을 가능하게 하며 데이터가 제한된 환경에서도 경쟁력 있는 정확도와 견고함을 제공합니다.

ABSTRACT

Recently, deep residual networks have been successfully applied in many computer vision and natural language processing tasks, pushing the state-of-the-art performance with deeper and wider architectures. In this work, we interpret deep residual networks as ordinary differential equations (ODEs), which have long been studied in mathematics and physics with rich theoretical and empirical success. From this interpretation, we develop a theoretical framework on stability and reversibility of deep neural networks, and derive three reversible neural network architectures that can go arbitrarily deep in theory. The reversibility property allows a memory-efficient implementation, which does not need to store the activations for most hidden layers. Together with the stability of our architectures, this enables training deeper networks using only modest computational resources. We provide both theoretical analyses and empirical results. Experimental results demonstrate the efficacy of our architectures against several strong baselines on CIFAR-10, CIFAR-100 and STL-10 with superior or on-par state-of-the-art performance. Furthermore, we show our architectures yield superior results when trained using fewer training data.

연구 동기 및 목표

• 깊은 ResNets와 일반 미분방정식(ordinary differential equations) 사이의 연결을 동기화하고 형식화하여 안정성과 가역성을 연구한다.
• 모든 자원으로도 학습이 가능한 매우 깊은 네트워크를 위한 안정적인 순방향 전파를 갖춘 세 가지 가역 아키텍처를 개발한다.
• 학습된 모델의 시간-다이나믹스를 부드럽게 하는 정규화를 도입한다.
• 제한된 학습 데이터 상황을 포함하여 CIFAR-10, CIFAR-100, STL-10에서 실험적 효과를 입증한다.

제안 방법

• ResNets를 이산화된 ODE로 해석하고, Jacobian 고유값을 통해 순방향 안정성을 분석하여 실수부가 비양수임을 보장한다.
• 세 가지 가역 아키텍처를 제안한다: 두 층 해밀토니언 네트워크, MidPoint 네트워크, Leapfrog 네트워크, 각각 특정 이산화 방식(Verlet 유사, 중앙 차분 등)을 사용한다.
• 가역성을 보장하여 활성화가 역전파 중에 재구성될 수 있게 하여 메모리 효율을 확보한다.
• 시간에 따라 변화하는 커널 Kin의 부드러운 시간 다이나믹스를 강제하고 일반화를 촉진하는 정규화 해석적 함수를 제공한다.
• 매우 깊은 네트워크(예: 1202 계층)에서 메모리 효율성을 입증하고 표준 벤치마크에서 ResNet 및 RevNet과 비교한다.

실험 결과

연구 질문

• RQ1 ResNet-type 아키텍처를 안정적이고 가역적인 동적 시스템으로 형성하여 임의 깊이의 네트워크를 가능하게 할 수 있는가?
• RQ2 해밀토니안, MidPoint, Leapfrog에서 영감을 받은 블록이 이미지 분류 작업에서 실무적으로 안정성과 가역성을 제공하는가?
• RQ3 특히 제한된 학습 데이터에서 CIFAR-10, CIFAR-100, STL-10에서 ResNet 및 RevNet과 비교했을 때 이러한 가역 아키텍처의 성능은 어떠한가?
• RQ4 제안된 정규화가 네트워크 매개변수의 시간적 다이나믹스를 촉진하여 일반화를 개선하는가?
• RQ5 매우 깊은 네트워크를 보유한 상태에서 modest memory로 학습이 가능하며 학습이 깊이에 대해 로버스트한가?

주요 결과

• 세 가지 가역 아키텍처가 가역적 전방 전파를 제공하며 상 imaginary Jacobian eigenvalues, 메모리 효율적인 역전파 가능.
• 세 가지 아키텍처 모두 CIFAR-10, CIFAR-100, STL-10에서 최첨단 기준과 비슷하거나 동등한 정확도를 달성했으며, STL-10은 기준선 대비 눈에 띄는 이점을 보였다.
• 해밀토니안 네트워크와 그 변형은 ResNet에 비해 학습 데이터가 제한될 때 로버스트하고 성능이 더 좋음을 시연.
• 1202-계층 해밀토니안 네트워크는 비슷한 깊이의 ResNet의 매개변수의 절반으로도 동일 깊이에서 학습 가능하고 정확도를 유지하거나 상회하여 메모리 및 최적화 안정성의 이점을 보여준다.
• STL-10 결과는 제안된 방법이 일부 구성을 통해 벤치마크 방법보다 약 10% 포인트 정도 앞서는 것을 보여준다.
• 데이터 서브샘플링 실험은 가설 아키텍처가 표본 데이터가 부족할 때 ResNet보다 일반화가 더 낫다는 것을 시사한다.