[논문 리뷰] Deep Networks and the Multiple Manifold Problem

Sam Buchanan, Dar Gilboa외 1명|arXiv (Cornell University)|2020. 08. 25.

Medical Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 단위 구면 위의 두 개의 저차원 다양체를 포함하는 이진 분류 문제에서 완전히 연결된 ReLU 신경망의 딥 러닝 일반화를 분석한다. 깊이와 넓이가 충분히 크다면, 무작위로 초기화된 경사하강법이 높은 확률로 빠르게 완벽한 분리를 학습함을 증명하며, 비점근적 신경접근핵(Ntk) 농도를 마팅글 불등식을 통해 사용하여 네트워크의 깊이(적합 자원으로서)와 넓이(통계 자원으로서) 사이의 증명 가능한 교환 관계를 수립한다.

ABSTRACT

We study the multiple manifold problem, a binary classification task modeled on applications in machine vision, in which a deep fully-connected neural network is trained to separate two low-dimensional submanifolds of the unit sphere. We provide an analysis of the one-dimensional case, proving for a simple manifold configuration that when the network depth $L$ is large relative to certain geometric and statistical properties of the data, the network width $n$ grows as a sufficiently large polynomial in $L$, and the number of i.i.d. samples from the manifolds is polynomial in $L$, randomly-initialized gradient descent rapidly learns to classify the two manifolds perfectly with high probability. Our analysis demonstrates concrete benefits of depth and width in the context of a practically-motivated model problem: the depth acts as a fitting resource, with larger depths corresponding to smoother networks that can more readily separate the class manifolds, and the width acts as a statistical resource, enabling concentration of the randomly-initialized network and its gradients. The argument centers around the neural tangent kernel and its role in the nonasymptotic analysis of training overparameterized neural networks; to this literature, we contribute essentially optimal rates of concentration for the neural tangent kernel of deep fully-connected networks, requiring width $n \gtrsim L\,\mathrm{poly}(d_0)$ to achieve uniform concentration of the initial kernel over a $d_0$-dimensional submanifold of the unit sphere $\mathbb{S}^{n_0-1}$, and a nonasymptotic framework for establishing generalization of networks trained in the NTK regime with structured data. The proof makes heavy use of martingale concentration to optimally treat statistical dependencies across layers of the initial random network. This approach should be of use in establishing similar results for other network architectures.

연구 동기 및 목표

• 딥 러닝에서 구조화된 데이터의 엄밀한 모델로 다중 다양체 문제를 수식화하기.
• 저차원 다양체에서의 이진 분류 문제에서 네트워크의 깊이와 넓이가 일반화에 미치는 역할 분석하기.
• 과다 매개변수화된 영역에서 무작위로 초기화된 경사하강법의 증명 가능한 수렴 및 일반화 보장 수립하기.
• 구조적이고 기하학적인 데이터를 가진 NTK 영역에서 일반화를 위한 비점근적 프레임워크 개발하기.
• 깊이가 다양체 분리에서 적합 자원으로, 넓이가 통계 자원으로 기능함을 보여주기.

제안 방법

• 단위 구면 Sn0−1의 두 개별 부분다양체 위의 이진 분류 작업 분석하기.
• 과다 매개변수화된 딥 ReLU 네트워크에서 일반화를 연구하기 위해 신경접근핵(NTK) 사용하기.
• 무작위 네트워크 초기화에서 계층 간 통계적 종속성을 다루기 위해 마팅글 농도 불등식 적용하기.
• d0차원 부분다양체에서 NTK의 실질적으로 최적의 농도율 유도하기. 이 경우 넓이 n ≥ L · poly(d0) 필요.
• 해의 존재성이 기하학적 파라미터와 연결된 결정론적 적분방정식 구축하기.
• 비점근적 분석을 활용하여 데이터 크기에 의존하지 않는 샘플 복잡도 확보하기. 문제의 난이도에만 의존함.

실험 결과

연구 질문

• RQ1 깊이, 넓이, 훈련 샘플 수가 어떤 조건을 만족할 경우, 경사하강법이 단위 구면 위의 두 개의 저차원 다양체를 증명적으로 분리할 수 있는가?
• RQ2 과다 매개변수화된 ReLU 네트워크에서 구조적 데이터를 가진 경우, 깊이와 넓이가 일반화에 독립적으로 기여하는 방식은 무엇인가?
• RQ3 신경접근핵은 구조적 부분다양체에서 균일하게 농도가 집중되는가? 이를 위한 최소 넓이 요구 조건은 무엇인가?
• RQ4 곡률과 분리가 있는 다양체 위에 존재하는 데이터에서 NTK 영역의 일반화 샘플 복잡도는 무엇인가?
• RQ5 네트워크의 일반화 능력은 곡률과 다중 다양체 간 거리와 같은 기하학적 성질에 의존하는가?

주요 결과

• d0 = 1일 때, 깊이 L ≥ poly(κ, Cρ, log(n0)), 넓이 n ≥ poly(L, log(Ln0)), 샘플 수 N ≥ poly(L)이면, 경사하강법은 높은 확률로 완벽한 일반화를 달성한다.
• 필요한 넓이는 L과 log(Ln0)의 다항식으로 증가하며, 다양체의 곡률과 데이터 밀도에 명시적인 의존성이 있다.
• L ≳ ∆−1이면, 그림 3의 구성에 대해 증명 가능한 해가 존재하여 일반화를 보장한다.
• 넓이 n ≥ L · poly(d0)일 경우, 부분다양체 전역에서 NTK가 균일하게 농도가 집중되어 안정적인 학습 동역학 보장된다.
• 샘플 복잡도는 L에 대해 다항식이며, 샘플 수에 관계없이 기하학적 파라미터에만 의존한다.
• 마팅글 농도 기법을 통해 NTK 농도에 최적의 경계를 도출하여, 일반화의 비점근적 분석이 가능해진다.