[논문 리뷰] Eigenvalue Decay Implies Polynomial-Time Learnability for Neural Networks

Surbhi Goel, Adam R. Klivans|arXiv (Cornell University)|2017. 08. 11.

Machine Learning and Algorithms참고 문헌 38인용 수 7

한 줄 요약

이 논문은 입력 데이터의 그람 행렬에서 고유값 감쇠가 깊은 신경망의 다항 시간 학습 가능성을 보장함을 밝혀냈습니다. 이는 실현 가능하지 않은(비실현 가능한) 설정에서도 성립합니다. 커널 방법과 니스트롬 샘플링을 활용하여 저자들은 강한 고유값 감쇠가 모델 복잡도에 대한 의존도를 감소시키며, 구조적 가정 없이 ReLU 및 시그모이드 네트워크에 대해 효율적인 알고리즘을 제공함을 보여줍니다.

ABSTRACT

We consider the problem of learning function classes computed by neural networks with various activations (e.g. ReLU or Sigmoid), a task believed to be computationally intractable in the worst-case. A major open problem is to understand the minimal assumptions under which these classes admit provably efficient algorithms. In this work we show that a natural distributional assumption corresponding to {\em eigenvalue decay} of the Gram matrix yields polynomial-time algorithms in the non-realizable setting for expressive classes of networks (e.g. feed-forward networks of ReLUs). We make no assumptions on the structure of the network or the labels. Given sufficiently-strong polynomial eigenvalue decay, we obtain {\em fully}-polynomial time algorithms in {\em all} the relevant parameters with respect to square-loss. Milder decay assumptions also lead to improved algorithms. This is the first purely distributional assumption that leads to polynomial-time algorithms for networks of ReLUs, even with one hidden layer. Further, unlike prior distributional assumptions (e.g., the marginal distribution is Gaussian), eigenvalue decay has been observed in practice on common data sets.

연구 동기 및 목표

• 비실현 가능한 설정에서 깊은 신경망의 다항 시간 학습 가능성을 가능하게 하는 최소한의 분포 가정을 규명하는 것.
• 최악의 가정 하에서 깊은 네트워크 학습의 계산 불가능성을 극복하기 위해, 새로운 경험적으로 기반을 둔 조건—그람 행렬의 고유값 감쇠—을 도입하는 것.
• 고유값 감쇠가 표현력 있는 네트워크, 예를 들어 깊은 ReLU 아키텍처의 경우에도 샘플 복잡도와 런타임을 향상시킨다는 것을 보여주는 것.
• 이 가정이 실용적으로 관측 가능하며, 이전의 가정들(예: 가우시안 마진)과 달리 이론적으로도 효율적 학습을 가능하게 한다는 것을 보여주는 것.
• 고유값 감쇠와 알고리즘의 계산 가능성 사이의 연결 고리를 설정하는 것—네트워크 과학에서의 거듭제곱 법칙 그래프가 효율적 해결을 가능하게 하듯이.

제안 방법

• 저자들은 알려진 커널 구성 방법을 사용하여 신경망 함수 클래스를 재생핵 힐버트 공간(RKHS)에 통합합니다.
• 정규화된 그람 행렬 $ K/m $ 의 고유값 $ \rho_i \to O(i^{-p}) $ 를 큰 $ i $ 에 대해 가정하고, 커널 리지 회귀 문제를 분석합니다. 여기서 $ p $ 는 감쇠 강도를 제어합니다.
• 니스트롬 샘플링을 압축 기법으로 활용하여 커널 문제의 효과적 차원을 감소시켜 효율적인 계산을 가능하게 합니다.
• 샘플 복잡도는 $ m = \tilde{O}(B^{1/p}/\epsilon^{2+3/p}) $ 로 유도되며, 여기서 $ B $ 는 RKHS 노름의 상한이고 $ \epsilon $ 은 오차 허용 범위입니다.
• 지수 감쇠 $ \lambda_i \approx O(e^{-i}) $ 의 경우 샘플 복잡도는 $ \tilde{O}(\log B / \epsilon^2) $ 로 줄어들며, 이는 완전한 다항 시간 알고리즘을 제공합니다.
• 이 방법은 ReLU 및 시그모이드 네트워크 모두에 적용되며, 가중치 노름과 활성화 함수의 구조적 한계로부터 유도된 감쇠 요구 조건을 갖습니다.

실험 결과

연구 질문

• RQ1 그람 행렬의 고유값 감쇠가 깊은 신경망의 다항 시간 학습 가능성을 충분한 조건으로서 활용할 수 있는가?
• RQ2 고전적인 분포 가정(예: 가우시안 마진)과 비교할 때 고유값 감쇠는 실용적 관련성과 알고리즘 효율성 측면에서 어떻게 다를까?
• RQ3 ReLU 및 시그모이드 네트워크의 효율적 학습을 달성하기 위해 필요한 고유값 감쇠의 최소 비율은 무엇인가?
• RQ4 이 가정은 실현 가능성 또는 구조적 제약 없이도 비실현 설정에서 완전한 다항 시간 알고리즘을 도출할 수 있는가?
• RQ5 감쇠 비율은 다양한 네트워크 깊이와 너비에 따라 샘플 복잡도와 런타임에 어떻게 영향을 미치는가?

주요 결과

• 다항 감쇠 $ \lambda_i \approx O(i^{-p}) $ 의 경우 샘플 복잡도는 $ \tilde{O}(B^{1/p}/\epsilon^{2+3/p}) $ 로, $ p $ 가 충분히 크면 모든 매개변수에 대해 다항식이 됩니다.
• 지수 감쇠 $ \lambda_i \approx O(e^{-i}) $ 의 경우 샘플 복잡도는 $ \tilde{O}(\log B / \epsilon^2) $ 로 감소하며, 이는 완전한 다항 시간 알고리즘을 제공합니다.
• 단일 ReLU를 $ \mathbb{S}^{n-1} $ 에서 정의할 경우 $ B = 2^{\tau/\epsilon} $ 이고, $ p \geq \xi/\epsilon $ 이면 다항 시간 학습 가능성이 확보됩니다.
• 크기가 $ \ell $ 인 한 층의 ReLU 네트워크의 경우 $ O(i^{-\ell/\epsilon}) $ 의 고유값 감쇠가 다항 시간 학습 가능성을 확보하는 데 충분합니다.
• 시그모이드 네트워크의 경우 요구되는 감쇠는 $ O(i^{-\sqrt{\ell} \log(\sqrt{\ell}/\epsilon)}) $ 로, 더 높은 복잡도를 반영합니다.
• 결과는 제곱 손실에 대해 비실현 설정에서도 성립하며, 알고리즘은 시간 복잡도 $ \mathsf{poly}(n, 1/\epsilon, \log(1/\delta)) $ 내에서 실행됩니다.