[논문 리뷰] Are ResNets Provably Better than Linear Predictors?

Ohad Shamir|arXiv (Cornell University)|2018. 04. 18.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 30

한 줄 요약

이 논문은 잔차 연결이 있는 네트워크(ResNets)가 깊이와 비선형성에 관계없이, 아키텍처, 데이터, 손실 함수에 대한 최소한의 가정 하에 선형 예측기(1층 네트워크)가 달성할 수 있는 성능 이하의 국소 최솟값을 가지지 않음을 증명한다. 또한 소규모 아키텍처 수정을 통해 확률적 경사 하강법(SGD)이 선형 예측기보다 나은 성능을 내는 해에 수렴함을 보이며, ResNets의 경험적 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

A residual network (or ResNet) is a standard deep neural net architecture, with state-of-the-art performance across numerous applications. The main premise of ResNets is that they allow the training of each layer to focus on fitting just the residual of the previous layer's output and the target output. Thus, we should expect that the trained network is no worse than what we can obtain if we remove the residual layers and train a shallower network instead. However, due to the non-convexity of the optimization problem, it is not at all clear that ResNets indeed achieve this behavior, rather than getting stuck at some arbitrarily poor local minimum. In this paper, we rigorously prove that arbitrarily deep, nonlinear residual units indeed exhibit this behavior, in the sense that the optimization landscape contains no local minima with value above what can be obtained with a linear predictor (namely a 1-layer network). Notably, we show this under minimal or no assumptions on the precise network architecture, data distribution, or loss function used. We also provide a quantitative analysis of approximate stationary points for this problem. Finally, we show that with a certain tweak to the architecture, training the network with standard stochastic gradient descent achieves an objective value close or better than any linear predictor.

연구 동기 및 목표

• ResNets의 核심 가정을 이론적으로 정당화하는 것: 깊이를 더함으로써 성능이 떨어지지 않는다는 것.
• 깊은 잔차 네트워크의 학습이 얕은 선형 예측기보다 열 劣한 국소 최솟값에 갇힐 수 있는지 분석하는 것.
• 경사 기반 최적화가 잔차 네트워크에서 열 劣한 해를 피할 수 있는 조건을 설정하는 것.
• ResNet 최적화의 경험적 성공과 이론적 이해 사이의 격차를 메우는 것.

제안 방법

• 비선형 잔차 유닛과 선형 출력을 갖는 임의의 잔차 네트워크에 대해, 모든 국소 최솟값의 목적 함수 값이 최적의 선형 예측기의 목적 함수 값보다 열 劣하지 않음을 증명한다.
• 최적화 경관의 기하학적 분석을 통해, 선형 예측기의 최적 값보다 높은 곳에 국소 최솟값이 존재하지 않음을 보인다.
• 소규모 아키텍처 수정을 가정하고, 온라인 볼록 최적화로의 환원을 통해 SGD 수렴성을 분석한다.
• SGD의 평균 학습 손실이 최적의 선형 예측기의 손실과 O(1/√T) 이내임을 보여주는 경계를 유도한다.
• 아즈마의 부등식을 활용해 최적화 오차의 고확률 집중을 확립한다.
• 정적점 분석을 통해, ε-근접 정적점은 어떤 선형 예측기의 성능과도 다항식(ε) 이내임을 보인다.

실험 결과

연구 질문

• RQ1 잔차 네트워크는 선형 예측기가 달성할 수 있는 성능 이하의 국소 최솟값을 피할 수 있는가?
• RQ2 표준 SGD로 학습한 ResNets가 선형 예측기의 성능 이하로 떨어지지 않는다는 보장을 할 수 있는가?
• RQ3 ResNet의 최적화 경관에 열 劣한 국소 최솟값이 존재하지 않는 조건은 무엇인가?
• RQ4 ResNets에서 근사 정적점의 성능은 선형 예측기와 비교해 어떻게 되는가?
• RQ5 간단한 아키텍처 수정을 통해 SGD가 선형 예측기와 경쟁 가능한 해로 수렴하도록 보장할 수 있는가?

주요 결과

• 깊은 잔차 네트워크의 최적화 경관에는 최적의 선형 예측기의 목적 함수 값보다 열 劣한 목적 함수 값을 갖는 국소 최솟값이 존재하지 않는다.
• 네트워크의 파rameter 공간에서 ε-근접 정적점이 되는 임의의 점은 최적의 선형 예측기의 목적 함수 값과 다항식(ε) 이내의 목적 함수 값을 갖는다.
• 소규모 아키텍처 수정을 통해 표준 SGD는 고확률로 어떤 선형 예측기보다 열 劣한 목적 함수 값을 갖는 해로 수렴한다.
• SGD의 수렴 속도는 O((bl + r√log(1/δ))/√T)로 경계되며, 여기서 b, l, r은 노름, 리프시츠, 손실 경계이다.
• 이 결과는 최소한의 가정 하에 성립한다: 데이터 분포, 네트워크 아키텍처, 손실 함수에 대한 제약 없이, 부드럽고 출력에서 볼록성만 요구된다.
• 이론적 보장은 결정론적이며, 데이터 샘플링 과정과는 무관하게 성립한다.