[논문 리뷰] Memorizing Gaussians with no over-parameterizaion via gradient decent on neural networks

Amit Daniely|arXiv (Cornell University)|2020. 03. 28.

Neural Networks and Applications참고 문헌 21인용 수 7

한 줄 요약

이 논문은 직교 초기화를 갖는 깊이-2 ReLU 유사 신경망에서 경사 하강법의 한 단계가 d차원 정규 분포를 무작위로 레이블링한 Ω(dq/log⁴d)개의 독립적인 데이터를 기억할 수 있음을 보여준다. 이 방법은 과도한 파rameter화 없이 거의 최적의 기억 능력을 달성하며, 활성화 함수의 조건이 만족되면(예: 절댓값 함수) 활성화 기울기의 증폭을 유도하는 경사 갱신을 활용한다.

ABSTRACT

We prove that a single step of gradient decent over depth two network, with $q$ hidden neurons, starting from orthogonal initialization, can memorize $Ω\left(\frac{dq}{\log^4(d)} ight)$ independent and randomly labeled Gaussians in $\mathbb{R}^d$. The result is valid for a large class of activation functions, which includes the absolute value.

연구 동기 및 목표

• 과도하게 파arameter화된 네트워크에서 경사 하강법이 근사 최적의 파arameter 수로 무작위 정규 분포 데이터를 기억할 수 있는지에 대한 열린 문제를 다루는 것.
• 높은 차원에서 무작위로 레이블링된 정규 분포 데이터를 많은 수로 기억하기 위해 단일 경사 갱신 단계로 충분한지 입증하는 것.
• 기본적인 직교 가중치 초기화와 광범위한 활성화 함수 클래스에 대해 과도한 파arameter화 없이 기억 능력을 확립하는 것.
• 비표준 초기화가 필요하거나 특정 활성화 함수나 데이터 분포에 국한된 이전 결과를 확장하는 것.

제안 방법

• q개의 은닉 뉴런을 갖는 깊이-2 ReLU 유사 네트워크와 직교 가중치 초기화를 사용한다.
• 스케일된 힌지 손실 ℓ(ŷ,y) = (ln(d) − ŷy)+를 사용하여 단일 경사 갱신 단계를 수행하며, 학습률 η = m ln(d)/d를 적용한다.
• ai ∈ {±1} 이며 ∑ai = O(√q)를 만족하는 확률적 초기화를 적용하며, 이는 높은 확률로 성립한다.
• 초기 가중치 근처에서 σ(⟨wi + Δwi, x⟩)의 일阶 테일러 전개를 통해 네트워크 출력의 변화를 분석한다.
• 서브-가우시안 및 서브-지수 尾 꼬리 부등식을 사용하여 활성화 출력과 기울기의 편차를 제한한다.
• 가우시안 농도와 베르슈타인 유형 부등식을 적용하여 뉴런 전역에서 σ′(⟨wi, xi⟩)의 가중합의 행동을 제어한다.

실험 결과

연구 질문

• RQ1 표준 직교 초기화를 갖는 깊이-2 네트워크에서 단일 경사 갱신 단계로 초선형 수의 무작위 정규 입력을 기억할 수 있는가?
• RQ2 과도한 파arameter화 없이, 즉 O(m) 파arameter로 근사 최적의 기억 능력을 달성하는가?
• RQ3 결과를 비정규 또는 구조화된 데이터 분포로 확장할 수 있는가?
• RQ4 기울기의 기대값이 0이 아닌 활성화 함수, 예를 들어 ReLU와 같은 경우에도 결과가 타당한가?
• RQ5 분석을 확률적 경사 하강법과 더 일반적인 초기화 방법으로 확장할 수 있는가?

주요 결과

• 네트워크는 고도의 확률로 d차원 정규 분포를 독립적으로 샘플링하고 무작위로 레이블링한 Ω(dq / log⁴d)개의 데이터를 기억할 수 있다.
• 한 번의 경사 갱신 후, 모든 i에 대해 y_i h(W⁺)(x_i) = Ω(ln d)를 확보하여 강력한 분류 마진을 확보한다.
• 결과는 절댓값 함수를 포함한 광범위한 활성화 함수 클래스에 대해 성립하며, 이는 X ~ N(0,1)일 때 E[σ′(X)] = 0을 만족한다.
• 분석 결과, 전활성화가 0에 가까운 뉴런의 기여가 활성화 함수의 비선형성 덕분에 효과적으로 증폭됨을 보여준다.
• 과도한 파arameter화를 피함: 파arameter 수는 O(dq)이며, 기억 능력의 척도는 Ω(dq / log⁴d)로, m ≈ dq / log⁴d일 때 거의 최적이다.
• 증명은 측도 집중과 꼬리 경계를 활용하여 고차원 등방향 노이즈 하에서의 무작위 투영과 활성화 기울기의 행동을 제어한다.