[논문 리뷰] Gradient Descent Finds Global Minima for Generalizable Deep Neural Networks of Practical Sizes

Kenji Kawaguchi, Jiaoyang Huang|arXiv (Cornell University)|2019. 08. 05.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 훈련 샘플 수에 대해 선형적으로 증가하는 파라미터를 가진 딥 네ural 네트워크에서 경사하강법이 전역 최소값을 찾을 수 있음을 증명하며, 이론과 실천 사이의 격차를 메운다. 이는 자연 데이터셋에서 훈련 가능하고 일반화 가능한 네트워크의 크기가 Ω̃(n)임을 입증하며, 로그 인자들을 제외한 선형 스케일링 비율이 최적임을 보여준다.

ABSTRACT

In this paper, we theoretically prove that gradient descent can find a global minimum of non-convex optimization of all layers for nonlinear deep neural networks of sizes commonly encountered in practice. The theory developed in this paper only requires the practical degrees of over-parameterization unlike previous theories. Our theory only requires the number of trainable parameters to increase linearly as the number of training samples increases. This allows the size of the deep neural networks to be consistent with practice and to be several orders of magnitude smaller than that required by the previous theories. Moreover, we prove that the linear increase of the size of the network is the optimal rate and that it cannot be improved, except by a logarithmic factor. Furthermore, deep neural networks with the trainability guarantee are shown to generalize well to unseen test samples with a natural dataset but not a random dataset.

연구 동기 및 목표

• 이론적 훈련 가능성 결과와 실용적 딥 러닝 사이의 격차를 메우기 위해, 실용적 크기의 네트워크에서 경사하강법이 전역 최소값을 찾을 수 있음을 증명하는 것.
• 이전 이론들과 달리 다항식 또는 지수적 증가가 필요로 하는 것과는 달리, 데이터셋 크기와 상대적으로 선형 증가하는 파라미터 수(Ω̃(n))만으로도 훈련 가능함을 입증하는 것.
• 자연 데이터셋에서는 일반화되지만 무작위 데이터셋에서는 일반화되지 않는 Ω̃(n) 파라미터를 가진 네트워크를 통해 훈련 가능성과 일반화의 연관성을 입증하는 것.
• 선형 스케일링 비율이 로그 인자들을 제외한 최적임을 증명하며, 더 이상 향상시킬 수 없음을 보여주는 것.
• 미래의 데이터 및 아키텍처에 따라 의존적인 네트워크 훈련 가능성 분석을 가능하게 하는 '가능한 훈련 가능성'의 프레임워크를 체계화하는 것.

제안 방법

• ReLU 활성화 함수와 잔차 연결을 가진 딥 피드포워드 네트워크에서 경사하강법의 동역학을 이론적으로 분석한다.
• 레베데르 복잡도와 농도 불등식을 적용하여 가중치 노름이 유계인 파라미터 집합에서 일반화 오차를 근사한다.
• 스케일링 파라미터 ς를 통해 네트워크의 가중치 행렬 노름을 제어하는 파라미터화 기법을 도입하여 파라미터 클래스 전반에 걸친 균일한 경계를 확보한다.
• 파라미터 노름의 이산 클래스들(색인 k로 표기)에 대한 유니온 바운드를 활용하여, 모든 파라미터 구성에 대해 고확률 일반화 경계를 유도한다.
• 카우치-슈바르츠 및 젠센 부등식을 활용하여 입력 노름과 네트워크 깊이에 따라 레베데르 복잡도를 경계한다.
• 특정 데이터 및 아키텍처 조건 하에서 성공적인 훈련 가능성을 수식화하기 위해 가능한 훈련 가능성 집합 P_{n,H,δ}를 정의한다.

실험 결과

연구 질문

• RQ1 경사하강법은 훈련 샘플 수에 비례해 선형적으로 증가하는 파라미터를 가진 실용적 크기의 딥 네트워크에서 전역 최소값을 찾을 수 있는가?
• RQ2 파라미터의 선형 스케일링(Ω̃(n))은 딥 네트워크에서 훈련 가능성과 일반화 모두에 충분한가?
• RQ3 딥 네트워크의 훈련 가능성은 데이터 분포에 따라 달라지는가? 특히 자연 데이터셋에서는 일반화되지만 무작위 데이터에서는 일반화되지 않는가?
• RQ4 Ω̃(n) 스케일링 비율은 최적인가, 아니면 로그 인자들을 제외한 범위를 초월해 향상시킬 수 있는가?
• RQ5 데이터에 따라 달라지고 아키텍처에 따라 달라지는 훈련 가능성 분석을 통합할 수 있는 '가능한 훈련 가능성'의 체계적 프레임워크를 구성할 수 있는가?

주요 결과

• 경사하강법은 훈련 샘플 수 n에 대해 Ω̃(n) 파라미터만을 가진 딥 네트워크에서 전역 최소값을 찾을 수 있으며, 이는 실용적 네트워크 크기와 일치한다.
• 로그 인자들을 제외한 선형 스케일링 비율 Ω̃(n)은 최적임을 입증하며, 이는 더 이상 로그 인자 감소 없이 향상시킬 수 없음을 의미한다.
• 자연 데이터셋(MNIST 및 Fashion-MNIST 포함)에서는 Ω̃(n) 파라미터를 가진 신경망이 잘 일반화되지만, 무작위 레이블이 부여된 데이터에서는 일반화되지 않는다.
• 이론적 분석을 통해 일반화가 데이터의 구조와 관련이 있음을 확인하였으며, 자연 데이터셋과 무작위 데이터셋 간의 일반화 갭과 가중치 노름 증가 간의 상관관계가 존재한다.
• 일반화 오차 경계는 레베데르 복잡도와 농도 불등식을 통해 유도되었으며, 고확률로 훈련 오차가 0으로 수렴함을 보여준다.
• 가능한 훈련 가능성의 프레임워크 P_{n,H,δ}가 체계화되었으며, 이는 향후 데이터 및 아키텍처에 따라 의존적인 훈련 가능성 분석을 가능하게 한다.