[논문 리뷰] Towards Understanding the Importance of Shortcut Connections in Residual Networks

Tianyi Liu, Minshuo Chen외 4명|arXiv (Cornell University)|2019. 09. 10.

Domain Adaptation and Few-Shot Learning인용 수 22

한 줄 요약

이 논문은 비볼록 최적화 경관에도 불구하고 잔차 신경망(ResNets)이 효율적으로 학습되는 이유에 대한 이론적 분석을 제공한다. 적절한 정규화와 단서 연결을 가진 레이어의 초기화를 0으로 설정할 경우, 기울기 하강법이 임의의 국소 최적해를 피하고 다항식 시간 내에 전역 최적해로 수렴함을 보여주며, 이는 단서 연결이 수렴 가능성을 보장하는 데 핵심적인 역할을 한다는 것을 입증한다.

ABSTRACT

Residual Network (ResNet) is undoubtedly a milestone in deep learning. ResNet is equipped with shortcut connections between layers, and exhibits efficient training using simple first order algorithms. Despite of the great empirical success, the reason behind is far from being well understood. In this paper, we study a two-layer non-overlapping convolutional ResNet. Training such a network requires solving a non-convex optimization problem with a spurious local optimum. We show, however, that gradient descent combined with proper normalization, avoids being trapped by the spurious local optimum, and converges to a global optimum in polynomial time, when the weight of the first layer is initialized at 0, and that of the second layer is initialized arbitrarily in a ball. Numerical experiments are provided to support our theory.

연구 동기 및 목표

• 비볼록 최적화 경관에도 불구하고 실제로 성능이 뛰어난 표준 피드포워드 CNN보다 우수한 성능을 보이는 잔차 신경망(ResNets)의 효율적 학습 배경을 이론적으로 이해하는 것.
• 간단화된 두 층의 오버랩 없는 컨볼루션 ResNet에서 단서 연결이 최적화 경관 내 비합리적인 국소 최적해를 피하는 데 기여하는지 조사하는 것.
• 학생 네트워크가 교사 네트워크의 아키텍처와 일치하는 실현 가능한 설정에서 기울기 하강법의 수렴 행동을 분석하는 것.
• 적절한 정규화와 초기화 조건 하에서 기울기 하강법이 다항식 시간 내에 전역 최적해로 수렴할 수 있는 조건을 설정하는 것.

제안 방법

• 이 연구는 ReLU 활성화 함수를 사용하는 두 층의 오버랩 없는 컨볼루션 ResNet을 분석하며, 출력은 $ f(w,a,Z) = a^{ op}\sigma\left(Z^{ op}(\frac{\mathds{1}}{\sqrt{p}} + w)\right) $로 정의되며, $ \norm{v}_2 = 1 $ 조건은 $ v = \frac{\mathds{1}}{\sqrt{p}} + w $를 통해 강제로 구현된다.
• 최적화 문제의 목적은 학생 네트워크와 교사 네트워크 출력 간의 기대 제곱 오차를 최소화하는 것으로, $ \mathbb{E}_Z[ f(w,a,Z) - g(v^*,a^*,Z) ]^2 $이며, $ v^* $와 $ a^* $는 진짜 파라미터이다.
• 기울기 하강법은 별도의 스텝 사이즈 $ \eta_a $와 $ \eta_w $를 사용하며, 분석은 $ w = 0 $ 및 $ a $가 유계 영역 내에 있는 초기화 조건에 집중한다.
• 이론적 분석을 통해 적절한 정규화와 초기화 조건 하에서 기울기 하강법이 비합리적인 국소 최적해를 피하고 다항식 시간 내에 전역 최적해로 수렴함을 증명한다.
• 이 방법은 이중 단계 수렴 과정을 도입한다: 첫 번째 단계는 $ a_t $가 $ a^* $와 정렬되고 $ w_t $가 느리게 변화하는 느린 초기 단계이며, 두 번째 단계는 $ w_t $와 $ a_t $가 전역 최적해로 급격히 수렴하는 단계이다.
• 수치 실험을 통해 이론적 결과를 검증하였으며, 단서 연결에 특화된 정규화 없이 표준 기울기 하강법을 사용할 경우 비합리적인 국소 최적해에 갇히는 것을 확인하였고, 본 논문의 설정은 이를 피함을 보였다.

실험 결과

연구 질문

• RQ1 간단화된 두 층의 ResNet에서 단서 연결의 존재가 기울기 하강법이 비합리적인 국소 최적해에 갇히는 것을 방지하는가?
• RQ2 비합리적인 국소 최적해가 존재하는 비볼록 ResNet 최적화 문제에서, 기울기 하강법이 전역 최적해로 수렴할 수 있도록 하는 초기화 조건은 무엇인가?
• RQ3 적절한 정규화와 스텝 사이즈 선택이 ResNet 학습에서 기울기 하강법의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 간단화된 ResNet 모델에서의 기울기 하강법 이론적 수렴 성능은 깊은 ResNets의 실질적 학습 성공과 어떻게 연결될 수 있는가?
• RQ5 특히 $ w = 0 $로 초기화된 단서 연결 레이어의 초기화가 나쁜 국소 최소값을 피하는 데 어떤 역할을 하는가?

주요 결과

• 적절한 정규화와 $ w = 0 $, $ a $가 유계 영역 내에 있는 초기화 조건 하에서, 비합리적인 국소 최적해가 존재하더라도 기울기 하강법은 다항식 시간 내에 전역 최적해로 수렴한다.
• 알고리즘은 이중 단계 수렴 과정을 보이며, 첫 번째 단계는 $ a_t $가 $ a^* $와 정렬되고 $ w_t $가 느리게 변화하는 초기 단계이며, 두 번째 단계는 $ w_t $와 $ a_t $가 전역 최적해로 급격히 수렴하는 단계이다.
• 단서 연결에 특화된 정규화와 초기화가 없을 경우, 수치 실험으로 확인된 바와 같이 기울기 하강법은 비합리적인 국소 최적해에 갇힌다.
• 이론적 분석을 통해 단서 연결이 기울기 흐름이 $ a_t $가 초기에 $ a^* $와 일치하지 않을 때에도 효과적으로 유지되도록 하여 비합리적인 국소 최적해를 피할 수 있음을 보여준다.
• $ a $의 초기화가 유계 영역 내에 있으면서도 수렴이 안정적이며, $ w $의 초기화가 0일 때가 나쁜 국소 최소값을 피하는 데 핵심적임을 보여준다.
• 결과는 학습률 웜업과 차별화된 학습률 설정과 같은 실용적 관행과 일치하며, 일반적인 딥 러닝 학습 히وري스틱의 이론적 근거를 제공한다.