[논문 리뷰] On the Power and Limitations of Random Features for Understanding Neural Networks

Gilad Yehudai, Ohad Shamir|arXiv (Cornell University)|2019. 04. 01.

Neural Networks and Applications인용 수 29

한 줄 요약

이 논문은 과다 파rameter화된 신경망 학습을 설명하는 데 널리 사용되는 랜덤 특징 방법이 표준 가우시안 입력 조건 하에서 심지어 하나의 ReLU 뉴런조차도 효율적으로 근사할 수 없음을 보여준다. 이는 입력 차원 d에 대해 지수적으로 많은 특징 또는 지수적으로 큰 가중치가 필요하다는 것을 의미한다. 이는 현재 랜덤 특징 기반의 이론적 프레임워크에 근본적인 한계가 있음을 드러내며, 이는 경사 기반 학습이 딥 네트워크에서 성공적으로 일반화되는 것을 완전히 설명할 수 없음을 암시한다.

ABSTRACT

Recently, a spate of papers have provided positive theoretical results for training over-parameterized neural networks (where the network size is larger than what is needed to achieve low error). The key insight is that with sufficient over-parameterization, gradient-based methods will implicitly leave some components of the network relatively unchanged, so the optimization dynamics will behave as if those components are essentially fixed at their initial random values. In fact, fixing these explicitly leads to the well-known approach of learning with random features. In other words, these techniques imply that we can successfully learn with neural networks, whenever we can successfully learn with random features. In this paper, we first review these techniques, providing a simple and self-contained analysis for one-hidden-layer networks. We then argue that despite the impressive positive results, random feature approaches are also inherently limited in what they can explain. In particular, we rigorously show that random features cannot be used to learn even a single ReLU neuron with standard Gaussian inputs, unless the network size (or magnitude of the weights) is exponentially large. Since a single neuron is learnable with gradient-based methods, we conclude that we are still far from a satisfying general explanation for the empirical success of neural networks.

연구 동기 및 목표

• 과다 파arameter화된 신경망 학습과 랜덤 특징 방법 사이의 관계를 체계화하기.
• 랜덤 특징 접근법이 신경망의 일반화를 설명하는 데 내재된 한계를 규명하기.
• 입력 차원 d에 대해 랜덤 특징을 사용해 단일 ReLU 뉴런을 근사하는 데는 지수적으로 많은 특징 또는 지수적으로 큰 가중치가 필요하다는 것을 증명하기.
• 이러한 한계가 다층 신경망과 커널 기반 특징을 포함한 일반적인 랜덤 특징에도 적용된다는 것을 보여주기.
• 다항식 함수에 대해 긍정적인 결과가 있음에도 불구하고, 랜덤 특징은 신경망의 전체 표현 능력을 포괄하지 못한다는 것을 보여주기.

제안 방법

• 초기화 시점에서 첫 번째 레이어 가중치가 효과적으로 고정된 상태에서, 과다 파arameter화된 네트워크의 경사 기반 학습과 랜덤 특징 학습 간의 연결 고리를 체계화하기.
• 표준 가우시안 입력 분포 하에서 형식 $ f_i(x) = f(Wx) $의 랜덤 특징의 근사 능력을 분석하기, 여기서 $ W $ 는 랜덤 행렬이다.
• 측도 집중 및 반집중 원리를 사용하여, $ r $ 개의 랜덤 특징 선형 조합이 $ r $ 또는 $ \text{max}|u_i| $ 가 $ d $ 에 대해 지수적으로 클 경우에만 ReLU 뉴런을 잘 근사할 수 있음을 보여주기.
• 구조적 가정 없이 일반적인 랜덤 특징 $ f_i(x) $ 에 대한 분석을 확장하여, 이러한 특징에 대한 분포가 주어진 이상, 근사가 효율적이지 않은 ReLU 뉴런이 존재함을 증명하기.
• ReLU 함수의 동차성 특성을 활용해 목표 가중치 벡터 $ w^* $ 와 편향 $ b^* $ 를 스케일링하여, 노름 크기와 필요한 근사 오차 사이의 트레이드오프를 가능하게 하기.
• 랜덤 특징 샘플링에 대한 고확률 경계를 사용하여, 실패 원인이 나쁜 초기화 때문이 아니라 랜덤 특징 프레임워크 자체에 내재된 것임을 입증하기.

실험 결과

연구 질문

• RQ1 표준 가우시안 입력 조건 하에서 $ \mathbb{R}^d $ 에서 랜덤 특징 방법이 단일 ReLU 뉴런을 효율적으로 근사할 수 있는가?
• RQ2 상수 오차 이내로 ReLU 뉴런을 근사하기 위해 필요한 최소한의 랜덤 특징 수 또는 가중치 크기는 무엇인가?
• RQ3 랜덤 특징의 한계는 다층 신경망과 커널 방법을 포함한 일반적인 특징 가족으로까지 확장되는가?
• RQ4 랜덤 특징 기반 분석이 경사 하강법으로 ReLU 뉴런을 학습할 수 있다는 점을 감안할 때, 이러한 방법이 경사 기반 학습의 성공을 설명할 수 있는가?
• RQ5 랜덤 특징 근사에서 목표 가중치 벡터의 노름과 필요한 특징 복잡성 사이에 트레이드오프가 존재하는가?

주요 결과

• 임의의 분포를 가진 $ r $ 개의 랜덤 특징 $ f_i(x) = f(Wx) $ 에 대해, $ W $ 가 랜덤 행렬일 때, ReLU 뉴런 $ [\langle w^*, x \rangle + b^*]_+ $ 의 근사 오차가 최대 $ 1/50 $ 이면, 어떤 전역 상수 $ c_3 $ 에 대해 $ r \cdot \max_i |u_i| \geq \frac{1}{200d^4} \exp(c_3 d) $ 가 성립하며, 이는 $ d $ 에 대해 지수적 의존성을 암시한다.
• 특징의 노름이 $ \|f_i\| \leq \exp(c_2 d) $ 를 만족하는 일반적인 랜덤 특징 $ f_i(x) $ 에 대해서도, $ \|w^*\| = d^3 $ 이고 $ |b^*| \leq 6d^4 + 1 $ 인 ReLU 뉴런이 존재하며, 이는 $ r \cdot \max_i |u_i| \geq \frac{1}{200d^4} \exp(c_3 d) $ 가 되어야만 오차 $ 1/50 $ 이내로 근사 가능하며, 이는 높은 확률로 성립한다.
• 이 하한값은 다층 신경망과 커널 기반 특징을 포함한 모든 특징 가족 분포에 대해 성립하므로, 이 한계는 랜덤 특징 파라다임 자체에 내재된 근본적인 문제임을 보여준다.
• 결과적으로, 랜덤 특징 기반 분석은 딥 네트워크에서 경사 기반 학습의 일반화를 설명할 수 없다는 것을 암시한다. 왜냐하면 단일 ReLU 뉴런은 경사 하강법으로 학습 가능하지만, 랜덤 특징으로는 학습이 불가능하기 때문이다.
• 트레이드오프가 존재한다: $ \|w^*\| = \alpha d $ 인 ReLU 뉴런의 경우, 필요한 $ r \cdot \max_i |u_i| $ 는 $ \Omega(\exp(c_3 d)/\alpha) $ 의 비율로 증가하며, 이는 더 큰 노름 목표는 지수적으로 더 많은 자원이 필요함을 보여준다.
• 실패 원인이 열악한 초기화 때문이 아니라, 랜덤 특징 프레임워크 자체에 내재된 것이며, 특징 샘플링에 대해 고확률로 성립하므로 이는 본질적인 문제이다.