[논문 리뷰] Are deep ResNets provably better than linear predictors?

Chulhee Yun, Suvrit Sra외 1명|arXiv (Cornell University)|2019. 07. 09.

Advanced Neural Network Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 기하 조건 하에서, 딥 리즈넷 최적화 지형의 임의의 임계점은 최적의 선형 예측자만큼 좋거나, 엄격하게 음수인 고유값을 가진 헤시안을 가짐을 입증한다. 이는 최적화 성질 향상을 시사한다. 또한 근접 항등원 영역에서 리스크와 라데마처 복잡도에 대해 크기 독립적인 경계를 제시하며, 깊이가 이 영역에서 일반화 성능을 떨어뜨리지 않음을 보여준다.

ABSTRACT

Recent results in the literature indicate that a residual network (ResNet) composed of a single residual block outperforms linear predictors, in the sense that all local minima in its optimization landscape are at least as good as the best linear predictor. However, these results are limited to a single residual block (i.e., shallow ResNets), instead of the deep ResNets composed of multiple residual blocks. We take a step towards extending this result to deep ResNets. We start by two motivating examples. First, we show that there exist datasets for which all local minima of a fully-connected ReLU network are no better than the best linear predictor, whereas a ResNet has strictly better local minima. Second, we show that even at the global minimum, the representation obtained from the residual block outputs of a 2-block ResNet do not necessarily improve monotonically over subsequent blocks, which highlights a fundamental difficulty in analyzing deep ResNets. Our main theorem on deep ResNets shows under simple geometric conditions that, any critical point in the optimization landscape is either (i) at least as good as the best linear predictor; or (ii) the Hessian at this critical point has a strictly negative eigenvalue. Notably, our theorem shows that a chain of multiple skip-connections can improve the optimization landscape, whereas existing results study direct skip-connections to the last hidden layer or output layer. Finally, we complement our results by showing benign properties of the "near-identity regions" of deep ResNets, showing depth-independent upper bounds for the risk attained at critical points as well as the Rademacher complexity.

연구 동기 및 목표

• 딥 리즈넷이 최적화 및 일반화에서 선형 예측자보다 증명 가능하게 뛰어나게 되는지 조사하기.
• 단일 블록 리즈넷에 대한 이전 결과를 다중 잔여 블록을 가진 더 깊은 아키텍처로 확장하기.
• 딥 리즈넷의 임계점의 구조를 분석하고, 악성 국소 최솟값을 피하는지 확인하기.
• 딥 리즈넷의 근접 항등원 영역에서 유익한 성질—예를 들어 유한한 리스크와 라데마처 복잡도—를 확립하기.
• 출력 레이어로 직접 연결되는 스킵 커넥션보다도 체인 형태의 스킵 커넥션들이 최적화 지형을 향상시키는지 보여주기.

제안 방법

• 임의의 임계점이 최적의 선형 예측자만큼 좋거나, 엄격하게 음수인 고유값을 가진 헤시안을 가지도록 보장하기 위해 네트워크 아키텍처에 기하 조건을 도입함.
• 잔여 구조를 활용하여 라데마처 복잡도를 재귀적으로 경계하기 위해 '박리 오프'(peeling-off) 기법을 사용함.
• 근접 항등원 영역에서 임계점의 리스크를 분석하여, 매개변수 제약 조건 하에서 깊이에 독립적인 상한을 증명함.
• ReLU 활성화 함수를 사용하고, 형태가 $ x \mapsto x + \mathbf{V}_l \sigma(\mathbf{U}_l x) $ 인 특정 리즈넷 아키텍처를 고려함.
• 헤시안과 곡률에서 임계점의 성질을 분석하기 위해 행렬 해석학과 최적화 이론 도구를 적용함.
• 라데마처 복잡도를 활용해 일반화 성능을 측정하며, $ \|\mathbf{V}_l\|_F, \|\mathbf{U}_l\|_F \leq O(1/\sqrt{L}) $ 조건에서 경계가 크기 독립적임을 보임.

실험 결과

연구 질문

• RQ1 단일 블록 리즈넷이 선형 예측자보다 증명 가능하게 뛰어나다는 결과가 다중 잔여 블록을 가진 딥 리즈넷으로 확장될 수 있는가?
• RQ2 딥 리즈넷에서 스킵 커넥션의 체인은 출력 레이어로 직접 연결되는 스킵 커넥션을 넘어서 최적화 지형을 향상시키는가?
• RQ3 잔여 업데이트가 작은 근접 항등원 영역에서 딥 리즈넷의 일반화 성질은 어떠한가?
• RQ4 딥 리즈넷의 임계점에서 헤시안이 반드시 음수 고유값을 가질 조건은 무엇인가, 이는 국소 최솟값이 아님을 시사함.
• RQ5 근접 항등원 영역에서 딥 리즈넷에 대해 리스크와 라데마처 복잡도에 대해 크기 독립적인 경계를 설정할 수 있는가?

주요 결과

• 약한 기하 조건 하에서, 딥 리즈넷 최적화 지형의 임의의 임계점은 최적의 선형 예측자만큼 좋거나, 엄격하게 음수인 고유값을 가진 헤시안을 가짐.
• 딥 리즈넷의 경험적 라데마처 복잡도는 $ \frac{B \prod_{l=1}^{L}(1 + 2M_l^2)}{\sqrt{n}} $ 로 경계되며, $ M_l = O(1/\sqrt{L}) $ 일 때 크기 독립적이게 된다.
• 근접 항등원 영역의 임계점에서의 리스크는 네트워크 깊이에 독립적으로 경계지어지며, 안정적인 일반화를 시사함.
• 분석 결과, 다중 스킵 커넥션 체인이 최적화 지형을 향상시킬 수 있음이 밝혀졌으며, 이는 이전 연구에서 출력 레이어로 직접 연결되는 연결에 국한된 결과와 대비됨.
• 전역 최솟값에서도 잔여 블록의 표현이 층을 거치며 반드시 단조롭게 향상되는 것은 아니며, 이는 딥 리즈넷 분석의 복잡성을 강조함.
• 결과적으로, 깊이가 증가함에 따라 근접 항등원 영역에서 딥 리즈넷이 유익한 최적화 및 일반화 성질을 유지함을 입증함.