[논문 리뷰] Learning ReLUs via Gradient Descent

Mahdi Soltanolkotabi|arXiv (Cornell University)|2017. 05. 10.

Neural Networks and Applications참고 문헌 14인용 수 38

한 줄 요약

이 논문은 표본 수가 가중치 벡터의 차원 수보다 적은 고차원 환경에서, 투영된 경사하강법을 통해 Rectified Linear Units (ReLUs)를 학습하는 것을 연구한다. 초기화가 0일 때, 투영된 경사하강법이 진짜 심착된 가중치 벡터로 선형 수렴하며, 상수 항을 제외한 최적의 표본 복잡도를 확보함으로써 얕은 신경망과 잠재적으로 더 깊은 신경망의 동역학에 대한 통찰을 제공한다.

ABSTRACT

In this paper we study the problem of learning Rectified Linear Units (ReLUs) which are functions of the form $max(0, )$ with $w$ denoting the weight vector. We study this problem in the high-dimensional regime where the number of observations are fewer than the dimension of the weight vector. We assume that the weight vector belongs to some closed set (convex or nonconvex) which captures known side-information about its structure. We focus on the realizable model where the inputs are chosen i.i.d.~from a Gaussian distribution and the labels are generated according to a planted weight vector. We show that projected gradient descent, when initialization at 0, converges at a linear rate to the planted model with a number of samples that is optimal up to numerical constants. Our results on the dynamics of convergence of these very shallow neural nets may provide some insights towards understanding the dynamics of deeper architectures.

연구 동기 및 목표

• 표본 수가 가중치 벡터의 차원보다 작은 고차원 설정에서 ReLU 함수 학습 문제를 연구하는 것.
• 닫힌 집합 제약 조건(볼록 또는 비볼록)을 통해 가중치 벡터에 대한 구조적 사전 정보를 통합하는 것.
• 가우시안 입력과 심착된 가중치 벡터로부터 생성된 레이블을 가진 실현 가능 모델에서, 원점에서 초기화된 투영된 경사하강법의 수렴 행동을 분석하는 것.
• 얕은 신경망의 학습 동역학에 대한 이론적 통찰을 제공하며, 더 깊은 아키텍처에 대한 이해를 뒷받침하는 데 기여하는 것.

제안 방법

• 저자들은 원점에서 초기화된 투영된 경사하강법을 사용하여 ReLU 함수를 학습한다.
• 진짜 가중치 벡터가 닫힌 집합 내에 존재한다고 가정하며, 이는 흩어진 구조나 낮은 질량 구조와 같은 사전 구조 지식을 코딩한다.
• 입력 데이터는 i.i.d. 가우시안이며, 레이블은 심착된 ReLU 모델을 통해 생성된다: y = max(0, w^T x).
• 실현 가능 모델 하에서 수렴을 분석하며, 진짜 함수가 가설 클래스 내에 존재한다.
• 심착된 모델 하에서 손실 곡면의 기하학적 및 최적화적 성질을 활용하여 선형 수렴 속도를 확립한다.
• 각 반복 단계에서 제약 조건 집합에 투영하여 구조적 사전 지식을 강제하는 데 의존한다.

실험 결과

연구 질문

• RQ1 표본 수가 가중치 벡터의 차원보다 적은 고차원 설정에서, 원점에서 초기화된 투영된 경사하강법이 ReLU 함수 학습 시 선형 수렴을 달성할 수 있는가?
• RQ2 구조적 제약 조건 하에서 성공적인 ReLU 학습을 위해 필요한 최적의 표본 복잡도는 무엇인가?
• RQ3 제약 조건 집합의 기하학적 구조(볼록 또는 비볼록)가 경사하강법의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 단일 ReLU 학습의 동역학은 더 깊은 신경망 학습에 대한 통찰을 제공하는가?
• RQ5 초기화가 0일 때 알고리즘의 수렴 행동에 어떤 역할을 하는가?

주요 결과

• 원점에서 초기화된 투영된 경사하강법은 고차원 환경에서 진짜 심착된 가중치 벡터로 선형 수렴한다.
• 표본 수가 가중치 벡터의 차원보다 적더라도, 수렴에 필요한 표본 수는 상수 항을 제외한 최적의 복잡도를 확보한다.
• 적절한 가중치 벡터의 구조적 가정 하에서, 수렴 속도는 임의의 차원 수에 영향을 받지 않는다.
• 분석은 볼록 및 비볼록 제약 조건 집합 모두에 대해 유효하며, 구조적 사전 지식의 선택에 대해 강건함을 보여준다.
• 결과는 얕은 모델에서 단순한 최적화 동역학이 더 깊은 네트워크의 동역학을 반영할 수 있음을 시사하며, 경험적 관찰에 대한 이론적 기반을 제공한다.