[논문 리뷰] Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics

Taiji Suzuki|arXiv (Cornell University)|2020. 07. 11.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 무한차원 랑주비안 역학을 통한 무한차원 운반 지도 추정을 통한 가중치 최적화 공식화를 통해 딥 뉴럴 네트워크 학습을 분석하는 새로운 프레임워크를 제안한다. 이는 유한한 넓이와 무한한 넓이의 네트워크 모두에 대해 전역 수렴성과 빠른 일반화 오차 한계를 보장하며, 분류 문제에 대해 지수 수렴 속도를 달성하고, 회귀 문제에 대해 최소 최대 최적 속도를 확보한다.

ABSTRACT

We introduce a new theoretical framework to analyze deep learning optimization with connection to its generalization error. Existing frameworks such as mean field theory and neural tangent kernel theory for neural network optimization analysis typically require taking limit of infinite width of the network to show its global convergence. This potentially makes it difficult to directly deal with finite width network; especially in the neural tangent kernel regime, we cannot reveal favorable properties of neural networks beyond kernel methods. To realize more natural analysis, we consider a completely different approach in which we formulate the parameter training as a transportation map estimation and show its global convergence via the theory of the infinite dimensional Langevin dynamics. This enables us to analyze narrow and wide networks in a unifying manner. Moreover, we give generalization gap and excess risk bounds for the solution obtained by the dynamics. The excess risk bound achieves the so-called fast learning rate. In particular, we show an exponential convergence for a classification problem and a minimax optimal rate for a regression problem.

연구 동기 및 목표

• 유한한 넓이와 무한한 넓이의 네트워크 분석을 통합함으로써 딥러닝 일반화 이론적 분석의 격차를 메운다.
• 기존의 평균장 이론과 신경망 탄성 커널(NTK) 이론 등은 무한한 넓이가 필요로 하여 전역 수렴성을 확보하지 못하는 한계를 극복한다.
• 커널 방법의 NTK 영역 내에서의 한계를 피하면서도, 빠른 학습 속도를 확보하는 일반화 오차 한계를 제공한다.
• 과도한 파rameter화나 차원 의존 수렴 속도에 의존하지 않고, 딥 네트워크의 비볼록 최적화 분석을 가능하게 한다.
• 비모수 베이지안 추정과의 연결을 통해 최적화와 일반화 이론적 이해를 빌드업한다.

제안 방법

• 네트워크 가중치를 재생 핵 힐버트 공간(RKHS)의 원소로 간주함으로써, 파arameter 공간 내에서의 운반 지도 추정 문제로 딥 러닝 학습을 공식화한다.
• 운동지수 지도 추정 문제를 해결하기 위해 무한차원 랑주비안 역학을 적용하여, 확률적 역학을 활용해 전역 수렴성을 보장한다.
• McKean–Vlasov 역학 이론과 에르고딕성 이론을 활용해 네트워크 넓이에 관계없이 전역 수렴성을 확립한다.
• 해결책을 비모수 베이지안 가우시안 프로세스 추정기와 연결하여 일반화 오차 한계를 도출한다.
• 학생-교사 설정과 RKHS 기반 정규화를 활용해 일반화 오차 내의 편향과 분산 항을 제한한다.
• 정규화 파ram터, 표본 크기, 커널 연산자의 고유값 감쇠 간의 상호작용을 분석하여 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 무한한 넓이가 필요 없이 비볼록 딥 러닝 최적화의 전역 수렴성을 확보할 수 있는가?
• RQ2 좁은 넓이와 넓은 넓이의 네트워크 모두에 대해 통합된 프레임워크에서 빠른 학습 속도를 확보하는 일반화 오차 한계를 도출할 수 있는가?
• RQ3 제안된 랑주비안 역학 기반 접근법은 NTK 및 평균장 이론과 비교해 일반화 및 수렴 측면에서 어떻게 다른가?
• RQ4 무한차원 랑주비안 역학의 해와 비모수 베이지안 추정 간의 관계는 무엇인가?
• RQ5 이 프레임워크는 회귀 문제에 대해 최소 최대 최적 속도를 달성하고, 분류 문제에 대해 지수 수렴을 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 무한차원 랑주비안 역학을 활용하여 유한한 넓이와 무한한 넓이의 신경망 모두에 대해 전역 수렴성을 달성하며, 수렴 속도가 네트워크 크기와 무관하다.
• 회귀 문제에서는 초과 위험 한계가 최소 최대 최적 속도를 달성하여 통계적 효율성을 확인한다.
• 분류 문제에서는 학생-교사 설정 하에서 일반화 오차가 지수적으로 빠르게 수렴함을 보여, 강력한 일반화 성능을 나타낸다.
• 일반화 오차 한계는 빠른 학습 속도를 확보하며, 초과 위험은 $ \max\{\lambda^{-\tilde{\alpha}}\beta^{-1}, \lambda^{\theta}, n^{-\frac{1}{2-s}}\} $ 로 감쇠하며, 표본 크기와 정규화에 유리한 의존성을 반영한다.
• 기존의 평균장 이론과 NTK 이론이 무한한 넓이 근사를 필요로 하는 것과 달리, 좁은 넓이와 넓은 넓이의 분석을 통합함으로써 넓이의 한계를 피한다.
• 랑주비안 역학의 해가 비모수 베이지안 가우시안 프로세스 추정기와 밀접한 관련이 있음을 입증하여, 타이트한 일반화 경계를 가능하게 한다.