[논문 리뷰] Backward Feature Correction: How Deep Learning Performs Deep Learning

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|2020. 01. 13.

Tensor decomposition and applications참고 문헌 88인용 수 56

한 줄 요약

이 논문은 경사하강법(SGD)을 사용할 때 깊은 신경망이 복잡한 계층적 함수를 효율적으로 학습하는 데 기여하는 메커니즘으로 뒤로 향한 특성 보정(backward feature correction)을 제안한다. 과도하게 파arameter화된 깊은 신경망이 다항식 개념 중 특정한 것들을 다항식 시간과 샘플 수 내에서 학습할 수 있음을 증명하며, 비계층적 방법인 커널 방법은 지수적 복잡도를 겪는다는 점을 입증함으로써, 깊이 있는 학습에서 샘플 및 시간 효율성의 근본적인 이점이 있음을 규명한다.

ABSTRACT

How does a 110-layer ResNet learn a high-complexity classifier using relatively few training examples and short training time? We present a theory towards explaining this in terms of hierarchical learning. We refer hierarchical learning as the learner learns to represent a complicated target function by decomposing it into a sequence of simpler functions to reduce sample and time complexity. This paper formally analyzes how multi-layer neural networks can perform such hierarchical learning efficiently and automatically by applying SGD. On the conceptual side, we present, to the best of our knowledge, the FIRST theory result indicating how deep neural networks can be sample and time efficient on certain hierarchical learning tasks, when NO KNOWN non-hierarchical algorithms (such as kernel method, linear regression over feature mappings, tensor decomposition, sparse coding, and their simple combinations) are efficient. We establish a principle called backward feature correction, where training higher layers in the network can improve the features of lower level ones. We believe this is the key to understand the deep learning process in multi-layer neural networks. On the technical side, we show for every input dimension $d > 0$, there is a concept class consisting of degree $\omega(1)$ multi-variate polynomials so that, using $\omega(1)$-layer neural networks as learners, SGD can learn any target function from this class in $\mathsf{poly}(d)$ time using $\mathsf{poly}(d)$ samples to any $\frac{1}{\mathsf{poly}(d)}$ error, through learning to represent it as a composition of $\omega(1)$ layers of quadratic functions. In contrast, we present lower bounds stating that several non-hierarchical learners, including any kernel methods, neural tangent kernels, must suffer from $d^{\omega(1)}$ sample or time complexity to learn this concept class even to $d^{-0.01}$ error.

연구 동기 및 목표

• 제한된 데이터와 학습 시간에도 복잡한 학습 과제에서 깊은 신경망이 샘플 및 시간 효율성을 달성하는 이유를 설명하는 것.
• 깊은 신경망에서 계층적 특성 학습을 가능하게 하는 근본적인 학습 메커니즘인 뒤로 향한 특성 보정을 규명하는 것.
• 깊은 신경망이 알려진 비계층적 학습 방법들(예: 커널 방법, 희소 코딩)보다 특정 다항식 함수 클래스에서 성능이 뛰어나다는 것을 공식적으로 입증하는 것.
• 비계층적 방법이 동일한 과제를 수행하기 위해 초다항식 샘플 또는 시간 복잡도가 필요하다는 이론적 경계를 설정하는 것.

제안 방법

• 고도의 깊이를 가진 신경망에서 SGD 최적화 과정 중에 고차원 레이어가 저차원 레이어에서 학습한 특성을 보정하는 메커니즘으로 뒤로 향한 특성 보정을 제안한다.
• 깊이가 ω(1)인 깊은 신경망을 다변수 다항식의 차수 ω(1)인 개념 클래스의 학습자로 분석한다.
• SGD를 사용하여 과도하게 파arameter화된 네트워크를 학습시켜 목표 함수를 ω(1) 개의 이차 함수 레이어 조합으로 표현하도록 한다.
• 목표 함수 클래스 내의 임의의 목표 함수를 1/poly(d) 오차 이내로 학습하는 데 다항식 시간 및 샘플 복잡도를 보장하는 이론적 수렴 보장을 수립한다.
• 비계층적 학습자들, 특히 커널 방법, 신경접선 커널, 희소 코딩과의 성능 비교를 수행한다.
• 하한 분석을 활용하여 비계층적 방법이 조차도 상수 오차(d^{-0.01})를 달성하기 위해 d^ω(1)의 복잡도가 필요하다는 점을 증명한다.

실험 결과

연구 질문

• RQ1 비계층적 방법이 실패하는 계층적 학습 과제에서 어떻게 깊은 신경망이 샘플 및 시간 효율성을 달성할 수 있는가?
• RQ2 어떤 메커니즘이 깊은 신경망이 학습 과정에서 복잡한 함수를 더 단순한 계층적 구성요소로 자동 분해할 수 있도록 하는가?
• RQ3 고도의 모델 용량을 가진 상태에서도 적은 예시와 짧은 학습 시간으로 깊은 신경망이 잘 일반화되는 이유는 무엇인가?
• RQ4 비계층적 학습 방법이 특정 함수 클래스에 대해 깊은 신경망보다 본질적으로 비효율적임을 공식적으로 증명할 수 있는가?
• RQ5 SGD 학습 과정에서 뒤로 향한 특성 보정이 하위 레이어의 표현을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 깊이가 ω(1)인 깊은 신경망은 SGD를 사용하여 다변수 다항식의 차수 ω(1)인 개념 클래스에서 임의의 목표 함수를 다항식 시간 및 샘플 복잡도 내에서 학습할 수 있다.
• 모든 커널 방법 또는 신경접선 커널이 d^{-0.01} 오차를 달성하기 위해 d^ω(1)의 샘플 또는 시간 복잡도가 필요하므로, 이는 비효율성을 입증한다.
• 뒤로 향한 특성 보정은 고차원 레이어가 저차원 레이어의 특성을 향상시켜 깊은 신경망의 계층적 학습 핵심 메커니즘을 형성한다.
• 이 논문은 알려진 비계층적 알고리즘이 성능이 떨어지는 계층적 과제에서 깊은 신경망이 샘플 및 시간 효율성을 확보한다는 첫 번째 이론적 결과를 확립한다.
• 비계층적 학습자들, 선형 회귀의 특성 매핑 및 텐서 분해를 포함한 것들 역시 이 개념 클래스에서 초다항식 복잡도를 겪는다.
• 이론적 프레임워크는 깊이 있는 학습의 효율성이 SGD를 통한 은밀한 계층적 함수 분해 능력에서 비롯된다는 점을 입증한다.