[논문 리뷰] Nearly-tight VC-dimension and pseudodimension bounds for piecewise linear neural networks

Peter L. Bartlett, Nick Harvey외 2명|arXiv (Cornell University)|2017. 03. 08.

Stochastic Gradient Optimization Techniques인용 수 205

한 줄 요약

본 논문은 깊은 ReLU(조각별 선형) 네트워크의 VC-차원과 의사차원에 대해 거의 타이트한 경계(bound)를 증명하며, W(가중치), L(레이어), U(비선형 유닛)에 의존하는 상한과 하한을 보인다.

ABSTRACT

We prove new upper and lower bounds on the VC-dimension of deep neural networks with the ReLU activation function. These bounds are tight for almost the entire range of parameters. Letting $W$ be the number of weights and $L$ be the number of layers, we prove that the VC-dimension is $O(W L \log(W))$, and provide examples with VC-dimension $Ω( W L \log(W/L) )$. This improves both the previously known upper bounds and lower bounds. In terms of the number $U$ of non-linear units, we prove a tight bound $Θ(W U)$ on the VC-dimension. All of these bounds generalize to arbitrary piecewise linear activation functions, and also hold for the pseudodimensions of these function classes. Combined with previous results, this gives an intriguing range of dependencies of the VC-dimension on depth for networks with different non-linearities: there is no dependence for piecewise-constant, linear dependence for piecewise-linear, and no more than quadratic dependence for general piecewise-polynomial.

연구 동기 및 목표

• 조각별 선형 활성화를 갖는 심층 네트워크에서 VC-차원과 의사차원을 통해 일반화에 대한 이해를 자극한다.
• W와 L의 함수로 VC-차원의 거의 타이트한 상한과 하한을 도출한다.
• 활성화 유형 전반에 걸쳐 깊이와 비선형성이 VC-차원과 의사차원에 미치는 영향을 관계 짓는다.
• 깊이와 너비의 관계에 대한 날카로운 경계와 그 시사점을 신경망에서 보여준다.

제안 방법

• VC-차원과 의사차원을 연구하기 위해 조각별 선형 네트워크( ReLU 포함)를 도입하고 분석한다.
• 향상된 비트 추출 구성으로 새로운 하한을 증명하여 VC-차원이 ≥ WL log(W/L)/C를 얻는다(Theorem 3).
• 성장 함수와 준대수적 집합 기법을 사용하여 조각다항 활성화에 대한 새로운 상한을 증명한다(Theorem 6).
• VC-차원을 유효 깊이와 매개변수 분포와 \u00131Wbar 수량을 통해 관련짓는다(Theorem 6).
• 조각다항 활성화에 대해 W와 U의 함수로 상한을 설정한다(Theorem 8).
• 깊이에 대한 시사점을 보인다: 조각상수, 조각선형, 일반 조각다항 활성화 함수들에 대한 함의.

실험 결과

연구 질문

• RQ1 상수 차이를 제외하면 조각별 선형 활성화를 갖는 심층 네트워크에 대한 타이트한(상수 차수에 의한) VC-차원과 의사차원의 경bound은 무엇인가?
• RQ2 매개변수 수 W, 레이어 수 L, 그리고 비선형 유닛 U가 VC-차원과 의사차원에 어떻게 영향을 미치는가?
• RQ3 깊이가 조각상수, 조각선형, 조각다항 활성화에 대해 VC-차원에 서로 다른 영향을 주는가?
• RQ4 ReLU를 포함한 활성화 계열 전반에서 상한을 하나로 묶고 더 타이트하게 만들 수 있는가?

주요 결과

• 주어진 아키텍처에서 조각별 선형 네트워크의 VC-차원은 O(WL log(W))이다.
• VC-차원이 최소 Ω(WL log(W/L))인 네트워크가 존재하며, 이전의 Ω(WL) 및 Ω(W log W) 경계보다 개선된다.
• 비선형 유닛 수 U에 관해 VC-차원은 Θ(WU)이다.
• 도 degree d 및 p 조각을 갖는 조각다항 활성화의 VC-차원 경계는 일반적으로 O(WU)로 개선되고, 조각선형인 경우 Ω(WL log(W/L))이다.
• 조각상수 활성화에는 깊이 의존성이 없고 일반 조각다항 활성화에는 깊이 의존성이 최대 2차 수준이며; 조각선형의 경우 경 bound에서 깊이와 선형 상호작용이 나타난다.
• 상한 결과(Theorem 6)는 d = 1일 때 VC-차원이 O(WL log W)로 스케일링되며, 유효 깊이 및 활성화 구조에 대한 의존성을 명확히 한다.