[논문 리뷰] Mildly Overparametrized Neural Nets can Memorize Training Data Efficiently

Rong Ge, Runzhe Wang외 1명|arXiv (Cornell University)|2019. 09. 26.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 14

한 줄 요약

이 논문은 다항식 활성화를 갖는 두층 및 세층 신경망이 훈련 데이터를 저장할 수 있으며, 훈련 샘플 수보다 상수배 더 많은 파라미터만을 사용함으로써 완벽한 기억 저장을 달성한다—즉, 약간의 과다 매개변수화로도 가능하다. 또한, 국소 최소값이 모두 전역 최소값임을 증명함으로써, 흐름이 왜곡된 경사 하강법이 영점 훈련 오차로 수렴함을 보여, 훈련 샘플 수에 대해 은닉층 크기가 비선형일지라도 성립한다.

ABSTRACT

It has been observed \citep{zhang2016understanding} that deep neural networks can memorize: they achieve 100\% accuracy on training data. Recent theoretical results explained such behavior in highly overparametrized regimes, where the number of neurons in each layer is larger than the number of training samples. In this paper, we show that neural networks can be trained to memorize training data perfectly in a mildly overparametrized regime, where the number of parameters is just a constant factor more than the number of training samples, and the number of neurons is much smaller.

연구 동기 및 목표

• 미묘하게 과다 매개변수화된 신경망에서의 기억 저장 이론적 이해의 격차를 메우기 위해, 파라미터 수가 훈련 샘플 수보다 상수배 뿐만으로도 증가하는 경우를 다룬다.
• 기존 연구가 극도로 과다 매개변수화된 설정을 요구했던 데 반해, 간단한 최적화 알고리즘(예: 흐름이 왜곡된 경사 하강법)이 이러한 영역에서도 완벽한 기억 저장을 달성할 수 있음을 보여준다.
• 두층 신경망에 대해 제곱 활성화, 세층 신경망에 대해 다항식 활성화를 사용할 경우, 입력 데이터가 일반 위치에 있을 때 최적화 지형에 임의의 유령 국소 최소값이 존재하지 않음을 입증한다.
• 부드러운 분석(입력의 무작위 왜곡)과 결정론적 일반 위치 조건의 두 가지 상황에서 이론적 보장을 제공한다.
• 파라미터 수가 훈련 샘플 수와 선형적으로 스케일링됨을 보여, 이는 이전 연구에서 요구한 제곱 또는 고차 파라미터 수보다 크게 향상된 것이다.

제안 방법

• n ≤ (d+1 위에 2) 인 훈련 샘플에 대해, 제곱 활성화를 갖는 두층 신경망과 은닉층 크기 2d+2를 제안한다.
• 중간층 가중치에 대해 흐름이 왜곡된 경사 하강법(PGD)을 사용하여 전역 최소값으로 수렴하고 영점 훈련 오차를 달성한다.
• 모든 국소 최소값이 전역 최소값임을 증명함으로써 최적화 지형을 분석하며, 변환된 데이터 행렬의 특이값 하한을 기반으로 한다.
• 입력 데이터를 고차 다항식 특징으로 변환하기 위해 r_i ~ N(0, I)를 이용한 무작위 특징 매핑을 도입함으로써, 네트워크 행동의 선형화를 가능하게 한다.
• 행렬 농도 부등식과 특이값 분석을 적용하여, (Q ⊗ Q)X의 조합된 특징 행렬의 최소 특이값을 유계로 제한함으로써, 약간의 조건에서도 가역성을 보장한다.
• 최소 특이값과 특징 매핑의 노름에 대한 확률적 하한을 확립하여, 고확률적으로 최적화 지형이 잘 조절되어 있음을 보여준다.

실험 결과

연구 질문

• RQ1 훈련 샘플 수보다 상수배 더 많은 파라미터를 갖는 신경망이 임의의 훈련 데이터를 기억할 수 있는가?
• RQ2 은닉층 크기가 n에 대해 비선형일 때, 흐름이 왜곡된 경사 하강법이 약간의 과다 매개변수화된 설정에서 영점 훈련 오차로 수렴하는가?
• RQ3 이러한 네트워크의 최적화 지형에서 임의의 유령 국소 최소값이 존재하지 않도록 보장할 수 있는가?
• RQ4 다항식 활성화와 단순한 최적화 알고리즘을 사용할 때, 기억 저장을 위해 필요한 최소 파라미터 수는 얼마인가?
• RQ5 입력 분포(예: 왜곡된 또는 일반 위치)는 일반화 및 최적화 보장에 어떤 영향을 미치는가?

주요 결과

• 일반 위치에 있는 n ≤ (d+1 위에 2) 개의 훈련 샘플에 대해, 제곱 활성화를 갖는 두층 ReLU 유사 네트워크와 2d+2개의 은닉 뉴런을 사용하면 O(d²)의 파라미터로 데이터를 기억할 수 있다.
• 유령 국소 최소값이 존재하지 않기 때문에, 중간층 가중치에 대해 흐름이 왜곡된 경사 하강법이 고확률적으로 영점 훈련 오차로 수렴한다.
• n ≤ d^p 인 경우, 다항식 활성화를 갖는 세층 네트워크와 각 층에 O_p(√n)개의 뉴런을 사용하면 임의의 데이터를 기억할 수 있으며, 파라미터 수는 n에 대해 선형 스케일링된다.
• 변환된 데이터 행렬 (Q ⊗ Q)X의 최소 특이값은 고확률적으로 Ω_p(δ^{2/((α-1)D_d^p)} / k^{(p+1)/(α-1)}) σ_min(X)로 하한이 있으며, 이는 가역성을 보장한다.
• 특징 매핑의 노름은 √k (2B√(d ln(kdδ^{-1/2})))^p로 상한이 있으며, 이는 최적화 중 안정성을 보장한다.
• 결과는 편향 반경 √v인 부드러운 분석 하에서도 성립하며, 보장 조건은 v에 대해 역다항식적으로 의존하며 네트워크 크기와는 독립적이다.