[논문 리뷰] Nearly-tight VC-dimension bounds for piecewise linear neural networks

Nick Harvey, Chris Liaw외 1명|arXiv (Cornell University)|2017. 03. 08.

Stochastic Gradient Optimization Techniques인용 수 108

한 줄 요약

이 논문은 깊이 있는 ReLU 신경망의 VC-차원에 대해 거의 날카로운 경계를 확립하며, $ W $가 가중치 수이고 $ L $이 층 수일 때, 상한으로 $ O(W L \log W) $와 하한으로 $ \Omega(W L \log(W/L)) $을 증명한다. 또한 비선형 단위 $ U $에 대해 $ \Theta(WU) $의 날카로운 경계를 보이며, 이는 모든 조각별 선형 활성화 함수로 일반화된다.

ABSTRACT

We prove new upper and lower bounds on the VC-dimension of deep neural networks with the ReLU activation function. These bounds are tight for almost the entire range of parameters. Letting $W$ be the number of weights and $L$ be the number of layers, we prove that the VC-dimension is $O(W L \log(W))$ and $\Omega( W L \log(W/L) )$. This improves both the previously known upper bounds and lower bounds. In terms of the number $U$ of non-linear units, we prove a tight bound $\Theta(W U)$ on the VC-dimension. All of these results generalize to arbitrary piecewise linear activation functions.

연구 동기 및 목표

• 깊이 있는 ReLU 네트워크의 VC-차원에 대해 이전에 알려진 상한과 하한 사이의 격차를 메우기 위해.
• 넓은 범위의 네트워크 파rameter에 대해 유효한 날카로운 渐近 경계를 확립하기 위해.
• ReLU를 넘어서 모든 조각별 선형 활성화 함수로 결과를 일반화하기 위해.
• VC-차원이 핵심 아키텍처 하이퍼파rameter인 가중치 수 $ W $, 층 수 $ L $, 비선형 단위 수 $ U $에 어떻게 의존하는지 분석하기 위해.

제안 방법

• ReLU 네트워크에 의해 유도되는 선형 영역 수의 조합적 분석을 통해 상한을 유도하기 위해.
• 깊이와 폭을 정교하게 설계하여 선형 영역 복잡도를 극대화함으로써 하한을 달성하는 명시적 네트워크 아키텍처를 구성하기 위해.
• 파rameter 수와 조각별 선형 함수의 구조에 기반한 차원성 논증을 적용하기 위해.
• 선형 영역 수 계산에서의 구조적 불변성에 기반해 ReLU에서 임의의 조각별 선형 활성화 함수로 경계를 일반화하기 위해.
• 깊이와 폭 간의 상호작용을 반영하기 위해 경계에 로그 스케일링을 적용하기 위해.
• 모든 매개변수 공간에서 상한과 하한이 로그 인자 내에서 일치함을 통해 경계의 날카로움을 확립하기 위해.

실험 결과

연구 질문

• RQ1 깊이 있는 ReLU 네트워크의 VC-차원에 대한 가장 날카로운 상한은 가중치 수 $ W $와 층 수 $ L $에 대해 어떻게 표현될 수 있는가?
• RQ2 이러한 네트워크의 최강의 알려진 하한은 무엇이며, $ W $와 $ L $에 따라 어떻게 스케일링되는가?
• RQ3 VC-차원은 비선형 단위 수 $ U $에 따라 어떻게 스케일링되며, 이 관계는 날카로운가?
• RQ4 ReLU 네트워크에 대해 유도된 경계는 다른 조각별 선형 활성화 함수로 일반화될 수 있는가?
• RQ5 경계는 네트워크의 깊이에 비해 폭에 더 의존하는가? 이러한 경계는 아키텍처 설계를 어떻게 반영하는가?

주요 결과

• 깊이 있는 ReLU 네트워크의 VC-차원은 이전 상한보다 향상된 $ O(W L \log W) $ 이하로 제한된다.
• 상한이 대부분의 매개변수 범위에서 거의 날카로운 것을 보여주는 일치하는 하한 $ \Omega(W L \log(W/L)) $ 이 확립된다.
• 비선형 단위 $ U $에 대한 경계는 $ \Theta(WU) $로 날카롭게 특성화되며, 이는 $ U $에 대한 선형 의존성을 시사한다.
• 선형 영역 복잡도에서의 구조적 유사성 덕분에 결과는 ReLU를 넘어서 모든 조각별 선형 활성화 함수로 일반화된다.
• 경계에 포함된 로그 인자는 깊이와 폭이 네트워크 용량을 제어하는 데 상호작용하는 방식을 반영한다.
• 분석은 깊이와 폭이 VC-차원에 단독으로 비해 더 크게 영향을 미치며, 로그 스케일링이 이러한 상호작용을 잘 캡처함을 확인한다.