[논문 리뷰] The Connection Between Approximation, Depth Separation and Learnability in Neural Networks

Eran Malach, Gilad Yehudai외 2명|arXiv (Cornell University)|2021. 01. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 4

한 줄 요약

이 논문은 딥 뉴럴 네트워크에서 근사 능력과 학습 가능성 사이의 기본적인 연결 고리를 확립하며, 경사 하강법 또는 통계적 질의(SQ) 알고리즘을 통한 효율적 학습이 더 단순한 모델—예를 들어 얕은 네트워크 또는 커널 클래스—에 의한 약한 근사가 필요하다는 것을 보여준다. 핵심 결과는 이러한 단순한 클래스에 의해 약한 근사가 불가능한 함수는 심지어 깊은 네트워크에 의해 정확히 표현 가능하더라도 효율적으로 학습될 수 없다는 것이다.

ABSTRACT

Several recent works have shown separation results between deep neural networks, and hypothesis classes with inferior approximation capacity such as shallow networks or kernel classes. On the other hand, the fact that deep networks can efficiently express a target function does not mean that this target function can be learned efficiently by deep neural networks. In this work we study the intricate connection between learnability and approximation capacity. We show that learnability with deep networks of a target function depends on the ability of simpler classes to approximate the target. Specifically, we show that a necessary condition for a function to be learnable by gradient descent on deep neural networks is to be able to approximate the function, at least in a weak sense, with shallow neural networks. We also show that a class of functions can be learned by an efficient statistical query algorithm if and only if it can be approximated in a weak sense by some kernel class. We give several examples of functions which demonstrate depth separation, and conclude that they cannot be efficiently learned, even by a hypothesis class that can efficiently approximate them.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 근사 능력과 효율적 학습 가능성 사이의 관계를 조사하기.
• 깊이 분리가 학습 가능성과 관련이 있는지 여부 또는 효율적 학습을 방해하는지 여부를 판단하기.
• 약한 근사의 개념을 정식화하고, 경사 하강법 및 SQ 알고리즘을 통한 학습에 그 필요성을 보여주기.
• 기존의 깊이 분리 함수(예: Telgarsky의 삼각형 함수, 패리티 함수 등)를 분석하고, 그것들이 효율적으로 학습될 수 없음을 증명하기.

제안 방법

• 약한 근사의 개념 도입: 가설 클래스가 목표 함수를 평균적으로 랜덤 추측보다 더 잘 수행할 경우, 그 목표 함수를 약하게 근사한다고 간주한다.
• 경사 하강법이 3층 네트워크에 의해 약하게 근사되지 않으면, 목표 클래스를 효율적으로 학습할 수 없음을 증명한다.
• 특성화: 어떤 클래스가 통계적 질의(SQ) 알고리즘을 통해 학습 가능할 조건은 그 클래스가 커널 클래스에 의해 약하게 근사될 수 있을 때에만 성립한다.
• 라운딩 기법과 일반화 경계를 사용하여 특정 아키텍처에서의 결과를 일반적인 다항식 크기의 두 은닉층 네트워크로 확장한다.
• 기존의 깊이 분리 함수(예: Telgarsky의 함수, 패리티 함수 등)를 분석하고, 얕거나 커널 모델에 의해 약한 근사가 실패함을 보여준다.
• 리프시츠 연속성과 농도 불등식을 활용하여 일반화 오차를 근사하고 학습 오차의 하한을 유도한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에 의해 정확히 표현 가능한 함수라도, 얕은 네트워크에 의해 약하게 근사되지 않으면, 경사 하강법에 의해 학습이 불가능한가?
• RQ2 통계적 질의 알고리즘을 통한 효율적 학습을 위한 필수 조건은 무엇이며, 이는 커널 근사와 어떻게 관련되는가?
• RQ3 Telgarsky의 삼각형 함수와 같은 기존의 깊이 분리 함수는 깊은 네트워크에 의해 표현 가능하더라도 여전히 학습이 불가능한가?
• RQ4 목표 함수가 깊은 모델에 의해 완벽하게 표현 가능하더라도, 얕은 네트워크나 커널 클래스에 의한 약한 근사가 효율적 학습을 위한 필수 조건이 될 수 있는가?
• RQ5 딥 네트워크에서 근사 강도와 학습 효율성 사이의 정량적 트레이드오프는 무엇인가?

주요 결과

• 목표 함수가 3층 신경망에 의해 약하게 근사되지 않으면, 깊은 네트워크에서 경사 하강법으로는 학습될 수 없다.
• 어떤 함수 클래스가 통계적 질의(SQ) 알고리즘을 통해 학습 가능할 조건은 그 클래스가 커널 클래스에 의해 약하게 근사될 수 있을 때에만 성립한다.
• 깊이 분리를 보이는 Telgarsky의 삼각형 함수는 얕은 네트워크에 의해 약한 근사가 실패하기 때문에, 경사 하강법으로는 효율적으로 학습될 수 없다.
• 커널 방법과의 깊이 분리를 보이는 패리티 함수는 커널 클래스에 의해 약하게 근사되지 않기 때문에, 효율적인 SQ 알고리즘으로는 학습될 수 없다.
• 2층과 3층 네트워크를 분리하는 특정 함수는 얕거나 커널 모델에 의해 약한 근사가 불가능하기 때문에, 어떤 SQ 알고리즘으로도 학습될 수 없다.
• 논문은 정량적 경계를 제공한다: 다항식 크기의 두 은닉층 네트워크의 경우, 학습 오차는 최소 $1 - \frac{6\sqrt{k}R^{2}n^{5/6}}{d(n)^{1/18}}$ 이상이 되며, 이는 약한 근사가 열악할수록 학습 오차가 높아짐을 보여준다.