[논문 리뷰] Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives

Yahong Yang, Haizhao Yang외 1명|arXiv (Cornell University)|2023. 05. 15.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 ReLU 활성화를 갖는 깊은 신경망(DNN)의 도함수에 대해 거의 최적의 VC차원 및 피지오차원 경계를 수립한다. 이는 사슬법칙에 기인한 종속성에 대한 새로운 분석을 기반으로 하며, 주요 기여는 깊이 $\leq L$, 폭 $\leq N$인 DNN 도함수의 VC차원에 대해 $\mathcal{O}(N^2L^2\log L\log N)$의 날카운 경계를 도출함으로써 최적의 소볼레프 공간 근사와 물리기반 및 도함수 기반 학습 모델에 대해 더 날카운 일반화 오차 경계를 가능하게 한다.

ABSTRACT

This paper addresses the problem of nearly optimal Vapnik--Chervonenkis dimension (VC-dimension) and pseudo-dimension estimations of the derivative functions of deep neural networks (DNNs). Two important applications of these estimations include: 1) Establishing a nearly tight approximation result of DNNs in the Sobolev space; 2) Characterizing the generalization error of machine learning methods with loss functions involving function derivatives. This theoretical investigation fills the gap of learning error estimations for a wide range of physics-informed machine learning models and applications including generative models, solving partial differential equations, operator learning, network compression, distillation, regularization, etc.

연구 동기 및 목표

• 깊은 신경망 도함수의 복잡도에 대한 날카운 이론적 경계가 부족한 문제를 해결하기 위해, 이는 소볼레프 학습과 물리기반 기계학습에 핵심적이다.
• 함수 도함수를 포함하는 손실 함수를 사용하는 모델의 일반화 오차 추정 간극을 메우기 위해.
• 기존의 부분적으로 최적화된 분석에 비해 한계를 극복하고, DNN 도함수의 VC차원 및 피지오차원에 대해 거의 최적의 경계를 수립하기 위해.

제안 방법

• 사슬법칙에 의해 유도되는 상호의존성을 명시적으로 모델링함으로써, DNN 도함수의 복합적 구조를 분석하기 위한 새로운 방법을 제안한다.
• ReLU 기반 DNN $\phi$의 약도함수 $D_i\phi$에 대한 정교한 분석을 통해 복잡도 경계를 도출한다.
• 폭 $\leq N$, 깊이 $\leq L$, ReLU 활성화를 갖는 DNN에 대해 $\text{VCdim}(D\Phi) \leq \bar{C}N^2L^2\log_2 L\log_2 N$의 거의 최적의 VC차원 경계를 수립한다.
• Dudley의 정리와 피지오차원을 통한 커버링 수 경계를 활용하여 라데마처 복잡도와 일반화 오차를 추정한다.
• 일반화 오차를 제어하기 위해 피지오차원 기반 커버링 수 추정치 $\mathcal{N}(\varepsilon, \mathcal{F}, n) \leq \left(\frac{2enB}{\varepsilon \cdot \text{Pdim}(\mathcal{F})}\right)^{\text{Pdim}(\mathcal{F})}$를 적용한다.
• 학습 샘플 수가 $M$인 도함수 클래스에 대해 일반화 오차 경계 $\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$를 유도한다.

실험 결과

연구 질문

• RQ1 폭과 깊이가 유계인 ReLU 기반 깊은 신경망의 도함수에 대한 최적의 VC차원은 무엇인가?
• RQ2 소볼레프 노름 기반 손실 함수에 대해 날카운 일반화 오차 추정을 가능하게 하기 위해 DNN 도함수의 피지오차원을 어떻게 경계할 수 있는가?
• RQ3 사슬법칙에 의해 발생하는 DNN 도함수의 복잡한 상호의존성을 어떻게 활용하여 이전 방법보다 더 날카운 복잡도 경계를 도출할 수 있는가?
• RQ4 유도된 경계는 기존 결과에 비해 소볼레프 공간 내 근사 오차를 얼마나 향상시키는가?
• RQ5 유도된 복잡도 경계는 도함수 기반 손실 함수를 사용하는 기계학습 모델에 대해 일반화 오차를 얼마나 더 날카운지로 번역되는가?

주요 결과

• ReLU 기반 DNN 도함수 클래스 $D\Phi$의 VC차원은 $\mathcal{O}(N^2L^2\log L\log N)$로 경계되며, 이는 거의 최적이다.
• 도함수 클래스 $D\widetilde{\Phi}$의 피지오차원은 $\mathcal{O}(N^2L^2\log L\log N)$로 경계되며, 이는 순서의 크기에서 VC차원 경계와 일치한다.
• 도함수 클래스의 라데마처 복잡도는 $\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$로 경계되며, 여기서 $M$은 학습 샘플 수이다.
• 도함수 기반 손실 함수의 일반화 오차는 $\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$로 경계되며, 이는 이전 결과보다 더 날카운 것이다.
• 유도된 경계는 소볼레프 공간 내 거의 최적의 근사 속도를 가능하게 하며, 이는 이 설정에서 DNN의 이론적 최적성에 대한 확인을 제공한다.
• 기존 연구의 주요 한계를 해결하기 위해, DNN 도함수의 사슬법칙 항목 간의 곱셈 구조를 고려함으로써 상당히 향상된 경계를 도출하였다.