[논문 리뷰] Learning Deep ReLU Networks Is Fixed-Parameter Tractable

Sitan Chen, Adam R. Klivans외 1명|arXiv (Cornell University)|2020. 09. 28.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 가우시안 입력 하에서 깊은 ReLU 네트워크를 학습하기 위한 최초의 고정 매개변수 다항 시간 알고리즘을 제안한다. 차원에 대해 다항 시간 런타임을 달성하면서도, 깊이, 크기, 스펙트럼 노름, 리프시츠 상수와 같은 네트워크 매개변수에 대해서만 지수적 의존성을 가지며, 기울기 기반 방법이 실패하는 경우에도 적절한 학습이 가능하도록 한다. 이는 트로픽 기하학을 활용한 필터링된 주성분 분석(PCA) 기법을 도입하여 은닉층 부분공간을 복구함으로써 달성된다.

ABSTRACT

We consider the problem of learning an unknown ReLU network with respect to Gaussian inputs and obtain the first nontrivial results for networks of depth more than two. We give an algorithm whose running time is a fixed polynomial in the ambient dimension and some (exponentially large) function of only the network's parameters. Our bounds depend on the number of hidden units, depth, spectral norm of the weight matrices, and Lipschitz constant of the overall network (we show that some dependence on the Lipschitz constant is necessary). We also give a bound that is doubly exponential in the size of the network but is independent of spectral norm. These results provably cannot be obtained using gradient-based methods and give the first example of a class of efficiently learnable neural networks that gradient descent will fail to learn. In contrast, prior work for learning networks of depth three or higher requires exponential time in the ambient dimension, even when the above parameters are bounded by a constant. Additionally, all prior work for the depth-two case requires well-conditioned weights and/or positive coefficients to obtain efficient run-times. Our algorithm does not require these assumptions. Our main technical tool is a type of filtered PCA that can be used to iteratively recover an approximate basis for the subspace spanned by the hidden units in the first layer. Our analysis leverages new structural results on lattice polynomials from tropical geometry.

연구 동기 및 목표

• 가우시안 입력 하에서 깊은 ReLU 네트워크를 효율적으로 학습하는 데 오랫동안 해결되지 않은 과제를 해결한다. 특히 깊이가 2를 초월할 경우에 대해.
• 제한된 매개변수를 가진다 해도 일부 ReLU 네트워크를 학습하지 못하는 기울기 기반 방법의 한계를 극복한다.
• 표본 수와 런타임 복잡도가 차원에 대해 다항이고, 네트워크 매개변수(크기, 깊이, 스펙트럼 노름, 리프시츠 상수 등)에 대해서만 지수적 의존성을 가지는 증명 가능하게 효율적인 알고리즘을 제공한다.
• 이전의 깊이 두 개 ReLU 학습 알고리즘에서 요구되었던 잘 조절된 가중치나 양의 계수와 같은 제약 조건을 제거한다.

제안 방법

• 조건부 기대값과 스펙트럼 필터링을 이용하여 첫 번째 레이어의 은닉 유닛들이 생성하는 부분공간의 근사 기저를 반복적으로 회복하는 필터링된 PCA 알고리즘을 제안한다.
• 네트워크 출력과 입력 투영의 크기를 기준으로 임계값을 설정하여 관련 부분공간을 분리하는 새로운 필터링 메커니즘을 활용한다.
• 집중 경계를 통해 런타임과 표본 복잡도를 제어하는 방식으로, ApproxBlockSVD를 하위 알고리즘으로 사용하여 필터링된 데이터의 저랭크 구조를 추정한다.
• 격자 다항식에 대한 트로픽 기하학의 구조적 결과를 활용하여 ReLU 활성화 함수의 기하학적 성질과 상호작용을 분석한다.
• 제한된 매개변수 공간 내에서 가능한 아키텍처를 탐색하기 위해 네트워크 구조의 매개변수화된 열거 기법(EnumerateNetworks)을 도입한다.
• 이미 식별된 부분공간에 대한 투영의 노름에 조건을 두는 재귀적 분해 전략을 적용하여 새로운 은닉 방향을 분리한다.

실험 결과

연구 질문

• RQ1 깊이가 두 개를 초월할 경우에도, 임베딩 차원에 대해 다항 시간 내에 깊은 ReLU 네트워크를 학습할 수 있는가?
• RQ2 제한된 스펙트럼 노름과 리프시츠 상수를 가진 ReLU 네트워크를 효율적으로 학습할 수 있는 비기울기 기반 알고리즘이 존재하는가?
• RQ3 기존의 깊이 두 개 ReLU 학습 알고리즘에서 요구되었던 양의 계수나 잘 조절된 행렬 등의 제약 조건을 피할 수 있는가?
• RQ4 기울기 기반 방법이 제한된 매개변수를 가진다 해도 일부 ReLU 네트워크를 학습하지 못하는 이유는 무엇이며, 이를 공식적으로 특성화할 수 있는가?
• RQ5 ReLU 네트워크의 어떤 구조적 성질이 고정 매개변수 다항 시간 학습을 가능하게 하는가? 그리고 이러한 성질은 기하학적·대수적 도구를 통해 어떻게 활용될 수 있는가?

주요 결과

• 표본 복잡도는 $ d/\log(1/\nu) \cdot \mathrm{poly}(e^{k^{3}\Lambda^{2}/\varepsilon^{2}}, 2^{kS}, B^{(L+2)k}/\Lambda^{k}) $ 로, 차원 $ d $ 에 대해 다항이고 네트워크 매개변수에 대해서만 지수적 의존성을 가지며, 이를 확인한다.
• 런타임은 $ \widetilde{O}(d^{2}\log(1/\delta)) \cdot \mathrm{poly}(e^{k^{3}S^{2}\Lambda^{2}/\varepsilon^{2}}, 2^{kS^{3}}, (B^{L+2}/\Lambda)^{kS^{2}}) $ 로, 차원에 대해 고정 매개변수 다항 시간임을 확인한다.
• 기울기 경사 하강법이 실패하는 네트워크도 증명 가능하게 학습할 수 있으며, 이는 스펙트럼 노름과 리프시츠 상수가 유한한 경우에도 성립한다.
• 이 알고리즘은 양의 계수나 잘 조절된 가중치를 요구하지 않으며, 이는 이전의 깊이 두 개 학습 알고리즘에서 필수였던 조건이다.
• 필터링된 PCA는 조건부 기대값과 스펙트럼 필터링을 활용하여 은닉층 부분공간을 성공적으로 복구하며, 트로픽 기하학에서 유도된 이론적 보장이 있다.
• 분석 결과, 리프시츠 상수에 대한 의존성은 필수적임을 보여주며, 이를 제거하면 정보 이론적으로 불가능한 상황이 된다.