[논문 리뷰] Neural Networks can Learn Representations with Gradient Descent

Alex Damian, Jason D. Lee외 1명|arXiv (Cornell University)|2022. 06. 30.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 두 층으로 이루어진 신경망에서 경사하강법이 다항 함수에 대해 저차원의 임의적 태스크 관련 표현을 학습할 수 있음을 보여주며, 샘플 복잡도 $ n mid d^2 r + d r^p $를 달성한다. 이는 커널 방법의 $ d^p $ 요구 조건보다 크게 향상된 결과이며, 환경 차원 $ d $ 와 무관한 샘플 복잡도를 갖는 효율적인 전이 학습을 가능하게 하여 신경망의 양자화 핵심 영역의 제약을 초월한다.

ABSTRACT

Significant theoretical work has established that in specific regimes, neural networks trained by gradient descent behave like kernel methods. However, in practice, it is known that neural networks strongly outperform their associated kernels. In this work, we explain this gap by demonstrating that there is a large class of functions which cannot be efficiently learned by kernel methods but can be easily learned with gradient descent on a two layer neural network outside the kernel regime by learning representations that are relevant to the target task. We also demonstrate that these representations allow for efficient transfer learning, which is impossible in the kernel regime. Specifically, we consider the problem of learning polynomials which depend on only a few relevant directions, i.e. of the form $f^\star(x) = g(Ux)$ where $U: \R^d o \R^r$ with $d \gg r$. When the degree of $f^\star$ is $p$, it is known that $n \asymp d^p$ samples are necessary to learn $f^\star$ in the kernel regime. Our primary result is that gradient descent learns a representation of the data which depends only on the directions relevant to $f^\star$. This results in an improved sample complexity of $n\asymp d^2 r + dr^p$. Furthermore, in a transfer learning setup where the data distributions in the source and target domain share the same representation $U$ but have different polynomial heads we show that a popular heuristic for transfer learning has a target sample complexity independent of $d$.

연구 동기 및 목표

• 이론적 분석은 반면 실무에서 신경망이 커널 방법보다 일반화 성능이 뛰어나다는 이유를 설명하기 위해.
• 오버파라미터화된 신경망에서 뉴런 타임 커널(NTK) 영역을 초월한 경사하강법의 표현 학습 능력을 조사하기 위해.
• 저차원 잠재 구조를 가진 다항 함수를 학습하기 위한 개선된 샘플 복잡도 한계를 설정하기 위해.
• 경사하강법 기반 표현 학습을 통한 효율적 전이 학습의 가능성을 입증하기 위해.
• 경사하강법을 통한 표현 학습이 증명 가능하게 효과적인 조건을 특정하기 위해, 이를 위한 필수 비퇴화 조건을 포함하여.

제안 방법

• 형태 $ f^\star(x) = g(Ux) $의 함수에 대해, $ U \in \mathbb{R}^{d \times r} $ 이며 $ d \gg r $ 인 두 층 ReLU 네트워크를 경사하강법으로 학습하는 분석을 수행한다.
• 무작위 행렬 이론과 모멘트 한계를 사용하여, 무작위 초기화 상태에서도 경사하강법이 진짜 부분공간 $ \operatorname{span}(U) $ 와 일치하는 특징을 학습함을 보여준다.
• 레데마처 복잡도를 통한 일반화 한계를 설정하여, 네트워크의 용량을 너비와 가중치 노름에 따라 제어한다.
• 기대 노름의 분석과 텐서화된 가중치 갱신의 정렬성을 통해 샘플 복잡도 한계를 유도한다.
• 표현 학습이 실패할 수 있는 병리적 경우를 제거하기 위해 비퇴화 조건을 도입한다.
• 공유된 표현 $ U $ 를 기반으로 전이 학습 분석을 수행하여, 네트워크 헤드를 미세조정하기 위해 $ O(r^p) $ 개의 타겟 샘플로 충분함을 보여준다.

실험 결과

연구 질문

• RQ1 오버파라미터화된 신경망에서 경사하강법이 커널 방법이 포착하지 못하는 임의적 태스크 관련 표현을 학습할 수 있는가?
• RQ2 경사하강법을 통한 저질서 다항 함수 학습의 샘플 복잡도는 얼마이며, 커널 기반 방법과 비교해 어떻게 다른가?
• RQ3 공유된 표현이 태스크 간에 존재할 경우, 경사하강법을 통한 효율적 전이 학습이 가능한가?
• RQ4 고차원 입력 공간에서 경사하강법이 표현을 성공적으로 학습하기 위해 필요한 조건은 무엇인가?
• RQ5 표현 학습이 데이터 구조의 퇴화로 인해 실패할 경우, 샘플 복잡도에 대한 본질적 하한선은 무엇인가?

주요 결과

• 경사하강법은 진짜 저차원 부분공간 $ \operatorname{span}(U) $ 를 포함하는 표현을 학습하여, $ f^\star(\cdot) = g(U\cdot) $ 를 효율적으로 학습할 수 있다.
• 차수 $ p $ 의 다항식을 학습하기 위한 샘플 복잡도는 $ n \asymp d^2 r + d r^p $ 이며, 이는 커널 방법의 $ d^p $ 한계보다 엄밀히 우월하다.
• 전이 학습에서는 네트워크 헤드를 미세조정하기 위해 오직 $ O(r^p) $ 개의 타겟 샘플이 필요하며, 환경 차원 $ d $ 와 무관하다. 반면, 처음부터 사전학습을 수행할 경우 $ O(d^{\Omega(p)}) $ 개의 샘플이 필요하다.
• 하한선 분석을 통해 비퇴화 조건이 없을 경우, 이러한 함수 학습에 $ \Omega(d^{p/2}) $ 개의 샘플이 필요하다는 것을 입증하여, 이 조건이 필수적임을 보여준다.
• 개선된 샘플 복잡도는 고정된 특징이 아닌 동적 특징 학습 덕분이며, 이는 NTK 영역과의 차이를 나타낸다.
• 결과적으로 경사하강법을 통한 표현 학습이 커널 기반 분석의 제약을 초월하여 일반화 및 전이 학습을 가능하게 함을 입증한다.