[논문 리뷰] Towards Understanding Hierarchical Learning: Benefits of Neural Representations

Minshuo Chen, Yu Bai외 5명|arXiv (Cornell University)|2020. 06. 24.

Neural Networks and Applications참고 문헌 53인용 수 9

한 줄 요약

이 논문은 깊이 있는 네트워크에서의 중간 신경 표현이 고차수 다항함수를 학습할 때 샘플 효율성을 크게 향상시킨다는 것을 보여주며, 차수-$p$ 다항함수에 대해 $\widetilde{O}(d^{\lceil p/2\rceil})$의 샘플 복잡도를 달성하는 반면, 원시 입력을 사용할 경우 $\widetilde{O}(d^{p-1})$의 복잡도를 보인다. 이러한 이점은 넓은 두 층으로 구성된 네트워크의 이차 테일러 모델을 사용할 때 발생하며, NTK 기반 모델에서는 이러한 이점이 존재하지 않는다.

ABSTRACT

Deep neural networks can empirically perform efficient hierarchical learning, in which the layers learn useful representations of the data. However, how they make use of the intermediate representations are not explained by recent theories that relate them to "shallow learners" such as kernels. In this work, we demonstrate that intermediate neural representations add more flexibility to neural networks and can be advantageous over raw inputs. We consider a fixed, randomly initialized neural network as a representation function fed into another trainable network. When the trainable network is the quadratic Taylor model of a wide two-layer network, we show that neural representation can achieve improved sample complexities compared with the raw input: For learning a low-rank degree-$p$ polynomial ($p \geq 4$) in $d$ dimension, neural representation requires only $ ilde{O}(d^{\lceil p/2 ceil})$ samples, while the best-known sample complexity upper bound for the raw input is $ ilde{O}(d^{p-1})$. We contrast our result with a lower bound showing that neural representations do not improve over the raw input (in the infinite width limit), when the trainable network is instead a neural tangent kernel. Our results characterize when neural representations are beneficial, and may provide a new perspective on why depth is important in deep learning.

연구 동기 및 목표

• 딥 네트워크에서의 계층적 학습이 얕은 모델보다 언제이고 어떻게 이점을 제공하는지 이해하기 위해.
• 복잡한 함수를 학습할 때 중간 신경 표현이 샘플 효율성을 어떻게 향상시키는지 조사하기 위해.
• 특히 이차 테일러 모델과 신경 탄성 커널(NTK)과의 비교를 통해 다양한 최적화 방식에서 신경 표현의 이점에 대해 분석하기 위해.
• 깊이와 표현 학습이 일반화 성능을 향상시키는 조건을 이론적으로 규명하기 위해.

제안 방법

• 고정된 무작위로 초기화된 신경망이 표현 함수 $\mathbf{h}(\mathbf{x})$로 작동하는 3층 네트워크를 모델링하며, 상단 레이어의 가중치만 학습한다.
• 넓은 두 층으로 구성된 네트워크의 이차 테일러 근사를 사용하여 샘플 복잡도를 분석하며, 이는 초기화 근처의 학습 동역학을 모델링한다.
• 원시 입력($\mathbf{h}(\mathbf{x}) = \mathbf{x}$)을 사용할 경우와 신경 표현($\mathbf{h}(\mathbf{x}) = \sigma(\mathbf{V}\mathbf{x} + \mathbf{b})$)을 사용할 경우를 비교한다.
• 이차 테일러 모델과 NTK 체계에서 모두 $d$ 차원에서의 낮은 질량의 차수-$p$ 다항함수를 학습할 때의 샘플 복잡도 한계를 유도한다.
• 집중 부등식과 선형 연산자 노름, 가중치 벡터 노름의 상한을 사용하여 이론적 보장을 확립한다.
• 무한한 넓이에서의 NTK 극한에서 표현의 이점이 없음을 보여주는 하한선을 포함하여, 최적화 체계의 핵심적 차이점을 드러낸다.

실험 결과

연구 질문

• RQ1 원시 입력에서 직접 학습하는 것과 비교해 중간 신경 표현을 사용할 경우 샘플 복잡도가 향상되는가?
• RQ2 어떤 최적화 체계(예: 이차 테일러 vs. NTK)에서 신경 표현이 이점을 제공하는가?
• RQ3 깊이가 학습 효율성을 향상시키는 이유는 무엇이며, 중간 표현은 그 과정에서 어떤 기여를 하는가?
• RQ4 계층적 표현이 일반화 성능을 향상시키는 조건을 이론적으로 규명할 수 있는가?

주요 결과

• 차수-$p$ 다항함수를 $d$ 차원에서 낮은 질량으로 학습할 경우, 신경 표현을 사용하면 샘플 복잡도가 $\widetilde{O}(d^{\lceil p/2\rceil})$로 감소한다.
• 반면, 원시 입력에서 학습할 경우 알려진 최선의 샘플 복잡도는 $\widetilde{O}(d^{p-1})$이며, 이는 표현을 사용했을 때의 상당한 향상임을 보여준다.
• NTK 체계에서는 이러한 이점이 사라지며, 무한한 넓이 극한에서 어떤 향상도 가능하지 않다는 점에서, 이 이점은 비-NTK 최적화 역학에 특화되어 있음을 시사한다.
• 이차 테일러 모델은 표현 함수를 통해 데이터의 고차수 상호작용을 포착할 수 있기 때문에 더 높은 샘플 효율성을 달성한다.
• 이론적 한계는 표현 차원 $D$와 네트워크의 넓이 $m$을 적절히 선택함으로써 높은 확률로 $\epsilon$-정확한 일반화를 달성할 수 있음을 보여준다.
• 분석 결과, 표현의 이점은 근사 능력 때문이 아니라 최적화 경로와 일반화 오차의 구조 때문임을 밝혀냈다.