[논문 리뷰] Learning One-hidden-layer ReLU Networks via Gradient Descent

Xiao Zhang, Yaodong Yu외 2명|arXiv (Cornell University)|2018. 06. 20.

Machine Learning and ELM인용 수 51

한 줄 요약

이 논문은 텐서 초기화 다음에 경사 하강법이 Gaussian 입력으로 학습된 1-히든 레이어 ReLU 네트워크의 ground-truth 매개변수를 회복할 수 있음을 증명하며, 입력 차원에 선형적으로 의존하는 샘플 복잡도와 통계적 오차 범위 내에서 선형 수렴을 달성합니다. 이는 경험적 위험 최소화 분석과 알고리즘 의존적 보장을 제공합니다.

ABSTRACT

We study the problem of learning one-hidden-layer neural networks with Rectified Linear Unit (ReLU) activation function, where the inputs are sampled from standard Gaussian distribution and the outputs are generated from a noisy teacher network. We analyze the performance of gradient descent for training such kind of neural networks based on empirical risk minimization, and provide algorithm-dependent guarantees. In particular, we prove that tensor initialization followed by gradient descent can converge to the ground-truth parameters at a linear rate up to some statistical error. To the best of our knowledge, this is the first work characterizing the recovery guarantee for practical learning of one-hidden-layer ReLU networks with multiple neurons. Numerical experiments verify our theoretical findings.

연구 동기 및 목표

• 경사 기반 학습이 얕은 ReLU 네트워크에서의 이해를 촉진하도록 동기를 부여합니다.
• 다수의 뉴런을 가진 1-히든 레이어 ReLU 네트워크의 ground-truth 매개변수로의 경사 하강법 수렴을 특징짓다.
• 알고리즘 의존적 복구 보장을 제공하고 수렴 속도와 통계적 오차를 정량화합니다.
• 텐서 초기화가 재샘플링 없이도 실용적이고 수렴하는 학습을 가능하게 함을 보이다.

제안 방법

• 1-히든 레이어 ReLU 네트워크의 경험적 제곱 손실을 최소화하는 것으로 학습을 형식화합니다.
• 텐서 초기화를 사용하여 ground-truth W*에 가깝고 좋은 시작점을 얻습니다 (이전 연구를 통해).
• 데이터 재샘플링 없이 경험적 손실에 대해 경사 하강법을 적용합니다 (분할 필요 없음).
• 수렴 분석을 가능하게 하기 위해 경험적 손실의 기울기와 모집단 손실 사이의 균일한 수렴 경계를 확립합니다.
• 표본 차원의 선형적으로 증가하는(로그 인자 제외) 샘플 복잡도 하에서 W*까지의 선형 수렴을 입증합니다.
• 최적화 분석을 안내하기 위해 경험적 손실의 명시적 기울기 표현을 도출합니다.

실험 결과

연구 질문

• RQ1 그렝드 하강법이 Gaussian 입력으로의 경험적 위험 최소화에서 1-히든 레이어 ReLU 네트워크의 실제 매개변수를 회복할 수 있나요?
• RQ2 ground-truth 매개변수로의 선형 수렴을 보장하기 위해 필요한 초기화와 샘플 복잡도는 무엇인가요?
• RQ3 거의 ground-truth 영역에서 경험적 기울기와 모집단 기울기의 차이는 수렴에 어떤 영향을 미치나요?
• RQ4 텐서 초기화와 경사 하강법을 결합하면 재샘플링 없이도 W*까지의 통계적 오차 범위 내에 도달하나요?

주요 결과

• 텐서 초기화를 이용한 경사 하강법은 ground-truth 매개변수까지의 선형 수렴을 통계적 오차 범위 내에서 달성합니다.
• 통계적 오차는 샘플 크기 N, 차원 d, 숨겨진 뉴런 수 K, 노이즈 수준 ν에 의존합니다.
• Gaussian 입력 가정하에 샘플 복잡도는 로그 요인을 제외하면 d에 선형적으로 비례합니다.
• 경험적 손실과 모집단 손실 간의 균일한 그래디언트 수렴 경계는 데이터 재샘플링 없이 분석을 가능하게 합니다.
• 이론적 결과는 수렴 및 회복 동작을 확인하는 수치 실험으로 뒷받침됩니다.