[논문 리뷰] A Recipe for Global Convergence Guarantee in Deep Neural Networks

Kenji Kawaguchi, Qingyun Sun|arXiv (Cornell University)|2021. 04. 12.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 신경망 터널링 커널(NTK) 영역을 초월한 실용적인 깊은 신경망에서 전역 수렴을 보장하기 위해 검증 가능한 데이터 및 아키텍처에 의존하는 '표현력 조건'을 도입함으로써, 두 단계 훈련 알고리즘을 제안한다. 이 조건을 만족할 경우 모든 층이 전역 최소값으로 수렴함을 보장하며, 좁고 깊은 완전 연결 네트워크에 대해 이론적 검증과, 배치 정규화가 적용된 깊은 ResNets에 대해 수치적 검증을 수행하였다. 이는 표준 SGD와 동일한 하이퍼파rameter와 총 훈련 반복 횟수를 사용할 때 일반화 성능를 유사하게 유지한다.

ABSTRACT

Existing global convergence guarantees of (stochastic) gradient descent do not apply to practical deep networks in the practical regime of deep learning beyond the neural tangent kernel (NTK) regime. This paper proposes an algorithm, which is ensured to have global convergence guarantees in the practical regime beyond the NTK regime, under a verifiable condition called the expressivity condition. The expressivity condition is defined to be both data-dependent and architecture-dependent, which is the key property that makes our results applicable for practical settings beyond the NTK regime. On the one hand, the expressivity condition is theoretically proven to hold data-independently for fully-connected deep neural networks with narrow hidden layers and a single wide layer. On the other hand, the expressivity condition is numerically shown to hold data-dependently for deep (convolutional) ResNet with batch normalization with various standard image datasets. We also show that the proposed algorithm has generalization performances comparable with those of the heuristic algorithm, with the same hyper-parameters and total number of iterations. Therefore, the proposed algorithm can be viewed as a step towards providing theoretical guarantees for deep learning in the practical regime.

연구 동기 및 목표

• 이론적 전역 수렴 보장과 실용적 딥 러닝 사이의 격차를 메우기 위해, NTK 영역을 초월할 경우 기존 방법이 실패하는 문제를 해결한다.
• 모든 층에 대해 전역 수렴을 보장하면서 표현 학습이 가능한 훈련 알고리즘을 개발한다.
• 데이터에 의존하고 아키텍처에 의존하는 조건인 '표현력 조건'을 정의하고 검증함으로써 실제 네트워크에 적용 가능성을 확보한다.
• 제안된 방법이 동일한 하이퍼파rameter와 훈련 반복 횟수를 사용할 때 표준 SGD와 비교해 일반화 성능를 유지하는지 확인한다.

제안 방법

• 제안된 알고리즘은 임의의 일阶 훈련 방법을 두 단계 훈련 절차로 수정하여 전역 수렴을 보장한다.
• 핵심 혁신은 데이터 및 아키텍처에 의존하는 표현력 조건의 도입으로, 이 조건이 만족될 경우 전역 수렴이 보장된다.
• 이 방법은 표현력 조건이 만족될 경우 모든 네트워크 층에 대해 경사하강법이 전역 최소값으로 수렴함을 보여주는 이론적 분석에 기반한다.
• 이론적 검증을 위해 표현력 조건이 좁은 은닉층과 하나의 넓은 최종층을 가진 완전 연결 네트워크에서 성립함을 증명한다.
• 실증적 검증을 위해 표현력 조건이 CIFAR-10 및 ImageNet과 같은 표준 이미지 데이터셋에서 배치 정규화가 적용된 깊은 ResNets에서 수치적으로 성립함을 확인하였다.
• 동일한 하이퍼파rameter와 총 훈련 반복 횟수를 사용할 때 표준 SGD와 동일한 테스트 정확도를 유지함으로써 일반화 성능를 보존한다.

실험 결과

연구 질문

• RQ1 NTK 영역을 초월한 실용적 깊은 신경망에서 전역 수렴을 보장할 수 있는가?
• RQ2 실용적 영역에서 전역 수렴을 가능하게 하는 조건은 무엇이며, 이는 실제 아키텍처에 대해 검증 가능한가?
• RQ3 제안된 방법이 표준 훈련 절차와 비교해 일반화 성능를 유지하는가?
• RQ4 표현력 조건은 특정 너비 구성이 있는 완전 연결 네트워크에서 이론적으로 성립함을 증명할 수 있는가?
• RQ5 표현력 조건은 표준 데이터셋에서 배치 정규화가 적용된 깊은 합성곱 네트워크에서 수치적으로 검증할 수 있는가?

주요 결과

• 표현력 조건은 좁은 은닉층과 하나의 넓은 최종층을 가진 완전 연결 깊은 신경망에서 이론적으로 성립함을 증명하였으며, 이는 전역 수렴을 보장한다.
• 표현력 조건은 CIFAR-10, CIFAR-100, ImageNet 데이터셋에서 배치 정규화가 적용된 깊은 ResNets에서 수치적으로 성립함을 확인하였다.
• 표현력 조건이 만족될 경우, 표준 손실 및 기울기 리프시츠 연속성 가정 하에 두 단계 훈련 알고리즘이 모든 층에 대해 전역 수렴을 달성한다.
• 동일한 하이퍼파ram터와 총 훈련 반복 횟수를 사용할 때, 두 단계 훈련 알고리즘의 일반화 성능가 표준 SGD와 유사함을 실증적으로 입증하였다.
• 이전의 NTK 기반 접근 방식이 러닝 라이트 트레이닝 영역에 머무르는 것과 달리, 이 방법은 깊은 네트워크에서 표현 학습을 성공적으로 가능하게 하였다.
• 이론적 분석을 통해 자코비안 행렬의 질량이 출력 유닛 수와 같고, 표현력 조건이 만족될 경우 전역 수렴이 보장됨을 보였다.