[논문 리뷰] On the rate of convergence of a neural network regression estimate learned by gradient descent

Alina Braun, Michael Köhler외 1명|arXiv (Cornell University)|2019. 12. 09.

Neural Networks and Applications참고 문헌 36인용 수 6

한 줄 요약

이 논문은 실무에서 경사하강법을 통해 학습된 신경망 회귀 추정치에 대한 이론적 수렴 속도를 처음으로 확립한다. 한 층의 은닉층을 가진 네트워크에서 반복적인 무작위 초기화를 수행함으로써, 투영 추적 모델에서 최적의 수렴 속도(로그함수 인자까지)를 달성함을 보여준다. 이 방법은 무작위 초기화와 반복 최적화를 조합하여 국소 최솟값에 갇히는 위험을 줄이고 근사 최적 성능을 달성한다.

ABSTRACT

Nonparametric regression with random design is considered. Estimates are defined by minimzing a penalized empirical $L_2$ risk over a suitably chosen class of neural networks with one hidden layer via gradient descent. Here, the gradient descent procedure is repeated several times with randomly chosen starting values for the weights, and from the list of constructed estimates the one with the minimal empirical $L_2$ risk is chosen. Under the assumption that the number of randomly chosen starting values and the number of steps for gradient descent are sufficiently large it is shown that the resulting estimate achieves (up to a logarithmic factor) the optimal rate of convergence in a projection pursuit model. The final sample size performance of the estimates is illustrated by using simulated data.

연구 동기 및 목표

• 이론적으로 최적의 신경망 추정치와 실무에서 사용되는 경사하강법을 사용하는 추정치 사이의 격차를 메우기 위해.
• 다중 무작위 초기화를 통해 경험 위험을 최소화하는 실용적인 신경망 회귀 추정치의 수렴 행동을 분석하기 위해.
• 실용적인 추정치가 투영 추적 모델 하에서 비모수적 회귀에서 최적의 수렴 속도를 달성할 수 있음을 보여주기 위해.
• 딥 러닝의 실제 학습 절차에 가까운 방법에 대해 이론적 보장을 수립하기 위해.

제안 방법

• 추정치는 한 층의 은닉층을 가진 신경망으로, 경사하강법을 사용하여 네트워크 클래스 내에서 경험적 $L_2$ 위험을 최소화하는 것으로 정의된다.
• 네트워크 가중치를 독립적이고 균일하게 무작위로 초기화한 후, 경사하강법 절차를 다수 반복한다.
• 얻어진 추정치 목록 중 경험적 $L_2$ 위험이 가장 작은 것을 최종 추정치로 선택한다.
• 이론적 분석은 투영 추적 구조를 활용하며, 진짜 회귀 함수가 입력의 선형 투영에 대한 부드러운 함수들의 합임을 가정한다.
• 수렴 속도는 농도 부등식과 ReLU 네트워크의 근사 오차 한계를 사용하여 유도되며, 특히 조각다항식 근사에 대해 다룬다.
• 분석은 최적화 오차(경사하강법에서 발생)와 통계 추정 오차를 모두 고려하며, $L_2$ 위험에 대한 고확률 한계를 제공한다.

실험 결과

연구 질문

• RQ1 경사하강법과 무작위 초기화를 사용하는 신경망 회귀 추정치가 비모수적 회귀에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 경사하강법에서 다수의 무작위 초기화를 사용함으로써 실무에서 나쁜 국소 최솟값에 수렴할 위험을 효과적으로 줄일 수 있는가?
• RQ3 실제 학습 조건에서 투영 추적 모델 하에서 경사하강법 기반 신경망 추정치의 이론적 수렴 속도는 무엇인가?
• RQ4 무작위 초기화 횟수와 경사하강법 단계 수는 최종 추정 정확도와 수렴 속도에 어떤 영향을 미치는가?
• RQ5 무작위 초기화와 반복 최적화의 조합이 최소 최대 최적 속도에 가까운 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 추정치는 투영 추적 모델 하에서 비모수적 회귀의 최적 수렴 속도를 로그함수 인자까지 달성한다.
• 수렴 속도는 $O\bigl(\bigl(\frac{(\text{log } n)^3}{n}\bigr)^{2p/(2p+1)}\bigr)$이며, 이는 로그항을 제외하고 최소 최대 최적 속도와 일치한다.
• 무작위 초기화 횟수 $I_n$과 경사하강법 단계 수가 충분히 크면 속도가 달성되며, 특히 $I_n = \text{poly}(\text{log } n)$일 경우에 해당된다.
• 유한한 너비의 ReLU 네트워크를 사용할 때 발생하는 근사 오차는 $O(1/K^p)$로 유한하며, 여기서 $K$는 은닉층의 뉴런 수이다.
• 진짜 투영 방향 $\boldsymbol{c}_s$를 $t$-근접 영역 내에서 근사하지 못할 확률은 $\exp(-I_n t^{rd/2p})$ 이하로 유한하며, 이는 진짜 구조의 고확률 복원을 보장한다.
• 최종 $L_2$ 위험 한계는 통계 추정 오차, 최적화 오차, 근사 오차를 모두 포함하며, 이는 모두 고확률 농도 부등식을 통해 제어된다.