[논문 리뷰] Guaranteed Recovery of One-Hidden-Layer Neural Networks via Cross Entropy

Haoyu Fu, Yuejie Chi외 1명|arXiv (Cornell University)|2018. 02. 18.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 가우시안 입력 하에서 교차 엔트로피 손실을 사용하여 한 은닉층 신경망을 경사하강법으로 훈련할 때 전역 수렴성을 확립한다. 이는 진정한 가중치의 국소 근처에서 경험 위험의 강凸성과 미세성의 증명을 포함한다. 충분한 샘플이 있을 경우, 경사하강법은 진정한 값에 가까운 해로 선형 수렴하며, 텐서 기반 방법을 통해 이 근처 내에서 초기화가 가능하여 반복마다 샘플을 재사용하지 않고도 보장된 복원이 가능하다.

ABSTRACT

We study model recovery for data classification, where the training labels are generated from a one-hidden-layer neural network with sigmoid activations, also known as a single-layer feedforward network, and the goal is to recover the weights of the neural network. We consider two network models, the fully-connected network (FCN) and the non-overlapping convolutional neural network (CNN). We prove that with Gaussian inputs, the empirical risk based on cross entropy exhibits strong convexity and smoothness {\em uniformly} in a local neighborhood of the ground truth, as soon as the sample complexity is sufficiently large. This implies that if initialized in this neighborhood, gradient descent converges linearly to a critical point that is provably close to the ground truth. Furthermore, we show such an initialization can be obtained via the tensor method. This establishes the global convergence guarantee for empirical risk minimization using cross entropy via gradient descent for learning one-hidden-layer neural networks, at the near-optimal sample and computational complexity with respect to the network input dimension without unrealistic assumptions such as requiring a fresh set of samples at each iteration.

연구 동기 및 목표

• 교차 엔트로피 손실로 훈련된 한 은닉층 신경망에서 모델 복원에 대한 이론적 보장을 부족하게 하는 문제를 다루기 위해.
• 가우시안 입력 분포 하에서 진정한 가중치의 국소 이웃에서 경험 위험 함수의 강凸성과 미세성을 확립하기 위해.
• 초기화가 국소 이웃 내에 있을 경우, 경사하강법이 진짜 가중치에 가까운 해로 선형 수렴하는 것을 보여주기 위해.
• 반복마다 새로운 샘플이 필요로 하지 않는, 이점 있는 초기화를 확보하기 위한 텐서 기반 방법을 개발하기 위해.
• 분류 작업에서 모델 복원을 위한 샘플 및 계산 복잡도를 거의 최적화하기 위해.

제안 방법

• 충분한 표본 크기 하에서, 가우시안 입력 하에서 교차 엔트로피 손실 함수가 진짜 가중치의 국소 이웃에서 강凸성과 미세성을 가짐을 증명한다.
• 베르슈타인 부등식을 사용하여, 모든 뉴런에 동시에 고차수 모멘트(예: $\bm{P}_2$, $\bm{R}_3$)의 추정 오차를 뉴런별로 나누지 않고 통합적으로 제한한다.
• 세차 모멘트를 이용해 각 뉴런의 가중치 벡터의 방향과 크기를 추정하는 텐서 기반 초기화 방법을 도입한다.
• 활성화 함수의 세차 모멘트를 포함하는 양 $Q_1$을 정의하여 $\|\bm{w}_i^\star\|$에 대한 정보를 추출한다.
• 추정된 $Q_1$에 대한 최소제곱 문제를 풀고, 모멘트 함수 $m_{3,i}(\cdot)$의 역함수를 이용해 $\|\bm{w}_i^\star\|$를 추정한다.
• 추정된 계수의 부호 일致성을 이용해 가중치 크기의 부호를 복원함으로써 정확한 초기화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 한 은닉층 신경망의 교차 엔트로피 손실 함수가 진짜 값 근처의 국소 이웃에서 강凸성과 미세성을 나타낼 수 있는가?
• RQ2 초기화가 이 이웃 내에 있을 경우, 경사하강법이 진짜 값에 가까운 해로 선형 수렴하는가?
• RQ3 텐서 기반 방법이 반복마다 새로운 샘플이 필요로 하지 않고 강凸성 영역 내에서 신뢰할 수 있는 초기화를 제공할 수 있는가?
• RQ4 입력 차원에 대해 보장된 복원을 위한 샘플 복잡도가 거의 최적화되어 있는가?
• RQ5 동일한 가정 하에서 분석을 완전히 연결된 네트워크와 겹치지 않는 컨볼루션 네트워크로 확장할 수 있는가?

주요 결과

• 충분히 큰 표본 크기 하에서, 교차 엔트로피 손실 기반 경험 위험은 진짜 값의 국소 이웃에서 강凸성과 미세성을 가진다.
• 초기화가 이 이웃 내에 있을 경우, 경사하강법은 진짜 값으로부터 $O(1/\sqrt{K})$ 이내의 점으로 선형 수렴한다.
• 필요한 샘플 복잡도는 $n \geq d \cdot \text{poly}(K, \kappa, t, \log d)$이며, 입력 차원 $d$ 기준 거의 최적화된다.
• 텐서 방법을 통해 강凸성 영역 내에서 초기화가 가능하여 반복마다 새로운 샘플이 필요로 하지 않는다.
• 분석은 가우시안 입력 하에서 완전히 연결된 네트워크와 겹치지 않는 컨볼루션 네트워크 모두에 적용 가능하다.
• 이 방법은 동일한 활성화 함수가 필요로 하지 않으며, 가정 2의 완화된 조건에 의존한다.