[논문 리뷰] Algorithm-Dependent Generalization Bounds for Overparameterized Deep Residual Networks

Spencer Frei, Yuan Cao외 1명|arXiv (Cornell University)|2019. 10. 07.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 경사하강법으로 훈련된 과다파ram터화된 딥 리서지드 네트워크에 대해 알고리즘에 의존하는 일반화 경계를 제공하며, 경사하강법이 작은, 잘 일반화되는 함수의 부분집합으로 수렴함을 보여준다. 핵심 결과는 일반화 오차가 깊이에 대해 로그 수준의 과다파ram터화로도 작게 유지된다는 것이다. 이는 비리서지드 네트워크에서의 다항식적 요구사항과는 대조된다.

ABSTRACT

The skip-connections used in residual networks have become a standard architecture choice in deep learning due to the increased training stability and generalization performance with this architecture, although there has been limited theoretical understanding for this improvement. In this work, we analyze overparameterized deep residual networks trained by gradient descent following random initialization, and demonstrate that (i) the class of networks learned by gradient descent constitutes a small subset of the entire neural network function class, and (ii) this subclass of networks is sufficiently large to guarantee small training error. By showing (i) we are able to demonstrate that deep residual networks trained with gradient descent have a small generalization gap between training and test error, and together with (ii) this guarantees that the test error will be small. Our optimization and generalization guarantees require overparameterization that is only logarithmic in the depth of the network, while all known generalization bounds for deep non-residual networks have overparameterization requirements that are at least polynomial in the depth. This provides an explanation for why residual networks are preferable to non-residual ones.

연구 동기 및 목표

• 과다파라미터화된 상황에서도 리서지드 네트워크가 비리서지드 네트워크보다 더 잘 일반화되는 이유를 이해하기 위해.
• 딥 러닝에서 스킵 연결의 성공에 대한 이론적 이해의 부족을 해결하기 위해.
• 경사하강법으로 훈련된 과다파라미터화된 리서지드 네트워크의 최적화 및 일반화 행동을 분석하기 위해.
• 경사하강법이 전체 네트워크 용량에서 작은, 잘 일반화되는 함수 부분집합을 선택함을 보여주기 위해.
• 단지 네트워크 아키텍처나 가중치에 의존하는 것이 아니라 훈련 알고리즘에 의존하는 일반화 경계를 제공하기 위해.

제안 방법

• 가우스 초기화를 가진 이산 시간 경사하강법 동안 네트워크 파라미터의 궤적을 분석하기 위해.
• 스펙트럼 및 희소성 기반의 추론을 사용해 중간 활성화 및 기울기의 노름을 경계하기 위해.
• 희소 부분공간 위에 1/4- 및 1/2-넷을 구성하여 랜덤 특징 맵의 행동을 제어하기 위해.
• 헤프딩 부등식을 적용해 리서지드 연결에서 랜덤 특징 합의 편차를 경계하기 위해.
• 넷의 요소들에 대한 유니온 바ounds를 사용해 일반화 오차에 대한 고확률 경계를 유도하기 위해.
• 스킵 연결의 구조를 활용해 학습된 함수 클래스가 작으면서도 훈련 데이터를 적절히 피팅할 수 있을 정도로 충분히 표현력이 있다는 것을 보여주기 위해.

실험 결과

연구 질문

• RQ1 과다파라미터화된 조건에서 리서지드 네트워크가 비리서지드 네트워크보다 더 잘 일반화되는 이유는 무엇인가?
• RQ2 과다파라미터화된 리서지드 네트워크에서 경사하강법이 실제로 수렴하는 함수 클래스는 무엇인가?
• RQ3 네트워크 아키텍처 외에 훈련 알고리즘에 의존하는 일반화 경계를 도출할 수 있는가?
• RQ4 네트워크의 깊이가 리서지드 네트워크에서 일반화를 위한 필요한 과다파라미터화에 어떤 영향을 미치는가?
• RQ5 네트워크 활성화의 희소성과 리서지드 네트워크의 일반화 성능 사이의 관계는 무엇인가?

주요 결과

• 과다파라미터화된 리서지드 네트워크에서 경사하강법은 작은 함수 부분집합으로 수렴하며, 이는 작은 일반화 갭을 설명한다.
• 경사하강법이 학습하는 함수 클래스는 충분히 rich하여 작은 훈련 오차를 달성할 수 있다.
• 일반화 오차는 깊이에 대해 로그 수준의 과다파라미터화로도 작게 유지되며, 이는 비리서지드 네트워크에서의 다항식적 요구사항과는 대조된다.
• 분석은 비어 있지 않은 일반화 경계를 제공하며, 가중치 노름에 대한 경험적 가정에 의존하지 않는다.
• 이론적 프레임워크는 리서지드 네트워크가 더 적은 파라미터로 낮은 훈련 오차와 테스트 오차를 동시에 달성하는 실용적 성공을 설명한다.
• 경계는 랜덤 매트릭스 이론과 넷 기반의 농도 부등식을 사용해 도출되었으며, 스킵 연결이 최적화 경로를 유리한 함수 부분집합으로 제약함을 보여준다.