[논문 리뷰] Learning One-hidden-layer Neural Networks with Landscape Design

Rong Ge, Jason D. Lee외 1명|arXiv (Cornell University)|2017. 11. 01.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 113

한 줄 요약

이 논문은 가우시안 입력에서 한 은닉층 네트워크를 학습하기 위한 우수한 형태의 지형을 가지는 비볼록 objective를 설계하여, 과도한 파라미터화 없이 SGD가 ground-truth 파라미터로 수렴하도록 한다.

ABSTRACT

We consider the problem of learning a one-hidden-layer neural network: we assume the input $x\in \mathbb{R}^d$ is from Gaussian distribution and the label $y = a^ op σ(Bx) + ξ$, where $a$ is a nonnegative vector in $\mathbb{R}^m$ with $m\le d$, $B\in \mathbb{R}^{m imes d}$ is a full-rank weight matrix, and $ξ$ is a noise vector. We first give an analytic formula for the population risk of the standard squared loss and demonstrate that it implicitly attempts to decompose a sequence of low-rank tensors simultaneously. Inspired by the formula, we design a non-convex objective function $G(\cdot)$ whose landscape is guaranteed to have the following properties: 1. All local minima of $G$ are also global minima. 2. All global minima of $G$ correspond to the ground truth parameters. 3. The value and gradient of $G$ can be estimated using samples. With these properties, stochastic gradient descent on $G$ provably converges to the global minimum and learn the ground-truth parameters. We also prove finite sample complexity result and validate the results by simulations.

연구 동기 및 목표

• 가우시안 입력과 ReLU 유사 활성화 함수를 갖는 한 은닉층 네트워크의 모집단 위험(population risk)을 이해한다.
• 모든 지역 최솟값이 전역 최솟값이며 ground-truth 파라미터에 대응하는 최적화 지형을 갖도록 objective를 설계한다.
• 설계된 objective에서의 SGD가 ground-truth 파라미터로 수렴하는 것을 유한 샘플 보장으로 보여준다.

제안 방법

• 표준 제곱 손실의 모집단 위험에 대한 해석적 공식을 도출하고 이를 동시에 저계수 텐서 분해(허미트 계수)를 통한 연결고리로 보인다.
• 해 ground-truth 해를 보존하고 특정 조건에서 spurious 로컬 minima가 존재하지 않는 새로운 비볼록 objective G(B)를 제안한다.
• orthogonal-B* 설정에서 단위 크기 행의 정규화와 ground-truth 구성요소와의 정렬을 촉진하는 제 규제들을 포함하여 G(B)를 정의한다.
• G의 지형 특성을 증명한다: 모든 로컬 최소는 ground-truth B*의 순열/부호반전 중 하나에 해당하고, 모든 사다리꼴(saddles)은 음의 곡률을 가진다.
• G에서의 SGD가 근사적 전역 최소로 수렴함을 보이고, 유한 샘플 설정(empirical G)에 대한 보조 정리를 제공한다.
• 나중의 절차가 B*가 회복된 후 a*를 추정하고 전체 파라미터를 복원하는 방법을 개요로 제시한다.

실험 결과

연구 질문

• RQ1 가우시안 입력 하에서 한 은닉층 네트워크의 ground-truth 파라미터에 대응하고 모든 지역 최소값이 글로벌 최소값인 비볼록 목적함수를 설계할 수 있는가?
• RQ2 모집단 위험과 텐서 분해 간의 관계는 무엇이며, 이것이 지형 설계에 어떤 방향성을 제공하는가?
• RQ3 (G*)가 정규화된 경우, (e.g., orthogonal B*, 양의 a*, 정규화 강도) SGD가 유한 샘플 보장을 갖고 ground-truth 파라미터로 수렴하는 조건은 무엇인가?
• RQ4 과도한 파라미터화 없이 설계된 목적함수에서 ground-truth 파라미터를 추정하는 방법은 무엇인가?
• RQ5 설계된 목적함수의 경험적 버전이 다항 수의 샘플로도 지형 보장을 유지하는가?

주요 결과

• 모집단 위험을 허미트 계수의 합과 텐서 분해의 Frobenius 노름 차이의 곱과의 폐쇄형 표현으로 연결하여 학습을 저계수 텐서 분해와 연결한다.
• 새로운 목적함수 G(B)가 구축되었으며, 그 로컬 최소값은 ground-truth B*의 순열/부호반전과 정확히 일치하고, 적절한 매개변수 선택하에 사다리꼴은 음의 곡률을 가진다.
• G(B)에 대한 SGD는 차원 및 정확도에서 다항 시간 보장과 함께 전역 최소값(순열/부호까지)을 향해 수렴한다.
• B*가 직교이고 적절한 정규화가 사용되면 B*를 순열/부호까지 복원한 뒤 선형 회귀를 통해 a*를 얻고, 이어 일반적인 파라미터 복원 단계로 이어진다.
• 유한 샘플 결과는 G의 경험적 버전이 다항 수의 샘플로도 지형 보장을 유지하여 실제 학습이 가능함을 보여준다.