[논문 리뷰] Quadratic Suffices for Over-parametrization via Matrix Chernoff Bound

Zhao Song, Xin Yang|arXiv (Cornell University)|2019. 06. 09.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 55

한 줄 요약

이 논문은 두 층 ReLU 네트워크를 학습하는 과잉파라미터화(over-parameterization) 경계선을 더 촘촘하게 제시하고, 그래디언트 디센트가 전역 최솟값에 도달하기 위한 너비 요구 m이 개선되었으며 Matrix Chernoff 경계에 의해 실패 확률의 의존성이 더 빨라진다는 것을 보여준다.

ABSTRACT

We improve the over-parametrization size over two beautiful results [Li and Liang' 2018] and [Du, Zhai, Poczos and Singh' 2019] in deep learning theory.

연구 동기 및 목표

• 두 층 신경망에서 증명 가능한 학습 및 일반화에 필요한 최소한의 과잉파라미터화(over-parameterization)를 조사한다.
• 데이터 크기 n과 실패 확률 δ에 관하여 너비 m에 대한 기존 경계를 개선한다.
• Matrix Chernoff를 이용한 concentration 분석을 제공하여 더 촘촘한 확률 보장을 달성한다.
• 과잉파라미터화 하에서 수렴 거동 및 정규화 효과를 탐구한다.

제안 방법

• 데이터 의존 그램 행렬 H(w)과 그것의 연속형/이산형 형태인 H^{cts} 및 H^{dis}를 정의한다.
• Matrix Chernoff 유형의 concentration을 사용하여 랜덤 행렬들의 합의 스펙트럴 노름을 상한하고 δ 의존성을 poly(log(1/δ))로 개선한다.
• 연속형과 이산형 그램 행렬 사이의 차이를 상한하여 λ, α, β, θ에 의존하는 m으로 스펙트럴 근접성을 보장한다.
• 가중치 업데이트가 w를 제어된 구에서 유지하게 하여 H(w)의 양의 최소 고윳값 λ를 보존하는지 분석한다.
• m = Ω(λ^{-4} n^{4} poly(log(n/δ)))일 때 그래디언트 디센트가 높은 확률로 글로벌 최소값으로 수렴한다를 보인다.
• 추가 데이터 가정하에서의 정제는 m = Ω(λ^{-4} n^{3} α poly(log(n/δ))) 및 m = Ω(λ^{-4} n^{2} α(α+θ^{2}) poly(log(n/δ)))으로의 개선을 이끈다.
• 과잉파라미터화 하에서 학습 오차 거동 및 일반화에 대한 비공식 진술을 제공한다.

실험 결과

연구 질문

• RQ1 두 층 ReLU 네트워크에서 n개의 데이터 포인트가 주어졌을 때 그래디언트 디센트가 글로벌 최솟값을 찾는데 필요한 최소한의 과잉파라미터화(너비 m)는 무엇인가?
• RQ2 실패 확률 δ가 필요 너비 m에 어떻게 영향을 미치는가, 이 의존성을 1/δ에서 poly(log(1/δ))로 개선할 수 있는가?
• RQ3 랜덤 행렬에 대한 concentration 결과(Matrix Chernoff)가 과잉파라미터화에 대한 기존 연구보다 더 촘촘한 경계를 제시할 수 있는가?
• RQ4 데이터 의존 특성(α, β, θ)이 필요한 m과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 과잉파라미터화 하에서 정규화가 학습 수렴 및 일반화에 미치는 영향은 무엇인가?

주요 결과

• 초기화가 임의인 그래디언트 디센트는 m = Ω(λ^{-4} n^{4} poly(log(n/δ)))일 때 높은 확률로 글로벌 최소값으로 수렴한다.
• 일부 데이터 특성 하에서 너비 경계가 m = Ω(λ^{-4} n^{3} α poly(log(n/δ)))로 개선된다.
• 추가 가정하에서 경계는 m = Ω(λ^{-4} n^{2} α(α+θ^{2}) poly(log(n/δ)))로 축소된다.
• 실패 확률 δ에 대한 의존성이 1/δ의 다항식에서 log(1/δ)의 다항식으로 개선된다.
• 분포 집중과 합의 합의 Matrix Chernoff 경계와의 연결을 통해 신경망 너비를 분석에 반영한다.
• 또한 과잉파라미터화 하에서의 정규화 및 일반화에 대한 시사점을 다룬다.