[논문 리뷰] Fast learning rate of deep learning via a kernel perspective

Taiji Suzuki|arXiv (Cornell University)|2017. 05. 29.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 5

한 줄 요약

이 논문은 유한한 너비를 가진 딥 네ural 네트워크를 무한차원의 재생 커널 힐버트 공간(RKHS)의 유한한 근사로 간주함으로써 딥 러닝 일반화를 분석하기 위한 커널 기반 이론적 프레임워크를 제안한다. 각 레이어의 RKHS의 자유도와 일반화 오차를 연결함으로써, 경험적 리스크 최소화와 베이지안 딥 러닝 모두에서 $O(1/\sqrt{n})$보다 빠른 수렴 속도를 도출하며, 네트워크 너비 선택에서의 편향-분산 트레이드오프를 드러낸다.

ABSTRACT

We develop a new theoretical framework to analyze the generalization error of deep learning, and derive a new fast learning rate for two representative algorithms: empirical risk minimization and Bayesian deep learning. The series of theoretical analyses of deep learning has revealed its high expressive power and universal approximation capability. Although these analyses are highly nonparametric, existing generalization error analyses have been developed mainly in a fixed dimensional parametric model. To compensate this gap, we develop an infinite dimensional model that is based on an integral form as performed in the analysis of the universal approximation capability. This allows us to define a reproducing kernel Hilbert space corresponding to each layer. Our point of view is to deal with the ordinary finite dimensional deep neural network as a finite approximation of the infinite dimensional one. The approximation error is evaluated by the degree of freedom of the reproducing kernel Hilbert space in each layer. To estimate a good finite dimensional model, we consider both of empirical risk minimization and Bayesian deep learning. We derive its generalization error bound and it is shown that there appears bias-variance trade-off in terms of the number of parameters of the finite dimensional approximation. We show that the optimal width of the internal layers can be determined through the degree of freedom and the convergence rate can be faster than $O(1/\sqrt{n})$ rate which has been shown in the existing studies.

연구 동기 및 목표

• 유한차원 딥 러닝과 무한차원 비모수 모델 간의 이론적 격차를 메우기 위해.
• 커널 방법을 사용하여 딥 러닝의 일반화 오차를 분석하는 통합 프레임워크를 개발하기 위해.
• 딥 네트워크를 무한차원 RKHS의 유한한 근사로 모델링하여 표준 $O(1/\sqrt{n})$보다 빠른 수렴 속도를 도출하기 위해.
• 해당 RKHS의 자유도를 통해 내부 레이어의 최적 너비를 특성화하기 위해.

제안 방법

• 딥 네트워크의 각 레이어를 재생 커널 힐버트 공간(RKHS)의 함수로 모델링하여 무한차원 분석을 가능하게 한다.
• 유한한 너비의 네트워크에서의 근사 오차를 정량화하기 위해 각 레이어의 RKHS 자유도를 정의한다.
• 레베슈 복잡도와 커버링 수를 사용하여 커널 기반 일반화 경계를 적용하여 경험적 리스크가 진짜 리스크에서 벗어나지 않도록 제어한다.
• 베르누이의 부등식과 대칭화를 사용하여 추정 오차와 일반화 갭을 경계한다.
• 총 파라미터 수 $\sum_{\ell=1}^{L} m_\ell m_{\ell+1}$, RKHS 노름 $\hat{R}_{\infty}$, 그리고 노이즈 수준 $\sigma$에 의존하는 일반화 오차 경계를 유도하며, 로그 항은 모델 복잡도를 반영한다.
• RKHS 자유도를 통한 근사 오차와 표본 수 $n$을 통한 추정 오차를 균형 잡음으로써 편향-분산 트레이드오프를 수립한다.

실험 결과

연구 질문

• RQ1 커널 기반 프레임워크는 딥 러닝에서 표준 $O(1/\sqrt{n})$보다 더 빠른 일반화 오차 속도를 제공할 수 있는가?
• RQ2 각 레이어와 관련된 RKHS의 자유도는 유한한 너비의 딥 네트워크의 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 일반화 오차를 최소화하기 위해 내부 레이어의 최적 너비는 무엇이며, 이는 어떻게 RKHS 구조를 통해 결정되는가?
• RQ4 제안된 프레임워크는 유한차원 딥 러닝과 무한차원 비모수 모델을 어떻게 통합하는가?
• RQ5 경험적 리스크 최소화와 베이지안 딥 러닝 모두가 이 커널 기반 분석 하에서 더 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 논문은 $O(\alpha(\hat{R}_{\infty}) + \alpha(\sigma) + \frac{\log n + r}{n})$ 스케일링을 가지는 일반화 오차 경계를 도출하며, 여기서 $\alpha(U)$는 자유도를 통한 RKHS의 복잡도를 캡처하여 $O(1/\sqrt{n})$보다 더 빠른 수렴을 이끈다.
• RKHS 자유도에 기반한 최적의 네트워크 너비 선택이 이루어질 경우 수렴 속도는 $O(1/\sqrt{n})$를 초월하여 더 빠르며, 이는 더 높은 샘플 효율성을 의미한다.
• 내부 레이어의 최적 너비는 RKHS 자유도를 통한 근사 오차와 표본 수 $n$을 통한 추정 오차를 균형 잡음으로써 결정되며, 이는 편향-분산 트레이드오프를 드러낸다.
• 일반화 오차 경계에는 수렴 속도를 결정하는 항 $\alpha(\hat{R}_{\infty}) = \hat{R}_{\infty}^2 \cdot \frac{\sum m_\ell m_{\ell+1}}{n} \log_+\left(1 + \frac{4\sqrt{n}\hat{G}\max\{\bar{R},\bar{R}_b\}}{\hat{R}_{\infty}\sqrt{\sum m_\ell m_{\ell+1}}}\right)$ 가 포함되어 있다.
• 경계는 높은 확률 $1 - \exp(-r) - \exp(-\tilde{r}'^2 n \hat{\delta}_{1,n}^2 / \hat{R}_{\infty}^2)$ 에서 성립하여, 모델 잘못 지정에 대한 강건성을 보여준다.
• 이 프레임워크는 경험적 리스크 최소화와 베이지안 딥 러닝 양쪽에 대해 균일하게 적용되며, 커널 기반 접근의 일반성을 입증한다.