[논문 리뷰] On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond

Xingguo Li, Junwei Lu외 3명|arXiv (Cornell University)|2018. 06. 13.

Neural Networks and Applications인용 수 12

한 줄 요약

이 논문은 새로운 자코비안 기반 리프시츠 특성화를 도입하여 딥 네ural 네트워크의 더 날카운 마진 기반 일반화 경계를 제안한다. 이는 기존의 노름 기반 경계보다 크게 향상된 결과를 얻는다. 이 방법은 CNN 및 ResNet과 같은 표준 아키텍처에서 상당히 날카운 경계를 달성하며, 실증적 검증을 통해 이전 연구 대비 수개의 주기수 개선을 보였다.

ABSTRACT

We establish a margin based data dependent generalization error bound for a general family of deep neural networks in terms of the depth and width, as well as the Jacobian of the networks. Through introducing a new characterization of the Lipschitz properties of neural network family, we achieve significantly tighter generalization bounds than existing results. Moreover, we show that the generalization bound can be further improved for bounded losses. Aside from the general feedforward deep neural networks, our results can be applied to derive new bounds for popular architectures, including convolutional neural networks (CNNs) and residual networks (ResNets). When achieving same generalization errors with previous arts, our bounds allow for the choice of larger parameter spaces of weight matrices, inducing potentially stronger expressive ability for neural networks. Numerical evaluation is also provided to support our theory.

연구 동기 및 목표

• 깊이와 넓이에 따라 유리하게 스케일링되는 깊이 신경망의 날카운 일반화 경계 부족 문제를 해결한다.
• 특히 프로베니우스 및 2,1-노름에 의존하는 기존 경계의 뻣뻣함을 극복한다.
• CNN 및 ResNet의 가중치 행렬 구조와 같은 네트워크 아키텍처를 명시적으로 포함하는 일반화 경계를 개발한다.
• 제안된 경계가 동일한 일반화 오차를 유지하면서 더 큰 매개변수 공간을 허용함으로써 모델 표현력 향상을 가능하게 함을 보여준다.
• 실세계 데이터셋 및 네트워크 아키텍처에서 이론적 개선을 실증적으로 검증한다.

제안 방법

• 네트워크의 자코비안 행렬의 스펙트럴 노름을 사용하여 딥 네트워크의 리프시츠 성질을 위한 새로운 특성화를 도입한다.
• 자코비안 노름 $\|\text{Jacobian}\|_2$, 깊이 $D$, 넓이 $p$, 표본 크기 $m$ 과 함께 스케일링되는 마진 기반 일반화 오차 경계를 유도한다.
• 구조적 특성을 활용하여 표준 아키텍처에 경계를 적용한다: CNN의 직교 필터 및 ResNet의 스킵 연결.
• 손실 함수가 유계일 경우, 경계를 추가로 날카우게 만들 수 있으며, 크기 독립적인 일반화 오차율을 달성할 수 있다.
• 자코비안 노름과 가중치 행렬 노름의 실증적 추정을 사용하여 제안된 경계가 기존의 노름 기반 경계보다 얼마나 날카운지 비교한다.
• CIFAR-10에서 VGG19를 훈련시킨 수치 실험을 통해 $B^{\text{Jac}}_{1:D}$ 와 $\prod_d B_{d,2}$ 의 실증적 값을 비교하여 자코비안 기반 측정치의 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 가중치 행렬 노름의 곱에 의존도가 낮은 더 날카운 딥 네트워크 일반화 경계를 유도할 수 있는가?
• RQ2 기존의 노름 기반 접근 방식에 비해 자코비안 기반 리프시츠 특성화는 일반화 경계를 어떻게 향상시키는가?
• RQ3 제안된 경계는 CNN 및 ResNet과 같은 구조적 아키텍처에 효과적으로 적용될 수 있는가? 특히 그들의 가중치 행렬 구조를 활용할 수 있는가?
• RQ4 제안된 경계는 동일한 일반화 오차를 유지하면서 더 큰 매개변수 공간을 허용할 수 있는가? 이는 모델 표현력 향상에 기여하는가?
• RQ5 실제 훈련 환경에서 자코비안 노름의 실증적 값은 스펙트럴 및 프로베니우스 노름과 비교해 어떻게 되는가?

주요 결과

• 제안된 일반화 경계는 $\widetilde{\mathcal{O}}(\|\text{Jacobian}\|_2 \sqrt{Dpr/m})$ 로 스케일링되며, 이는 $\prod_d \|W_d\|_2$ 또는 $\prod_d \|W_d\|_\text{F}$ 를 기반으로 한 이전 경계보다 상당히 날카롭다.
• CIFAR-10에서 VGG19의 경우, $B^{\text{Jac}}_{1:D}$ 의 실증적 값은 $\prod_d B_{d,2}$ 와 비교해 약 2개의 주기수 작으며, 이는 훨씬 더 날카운 경계임을 시사한다.
• 자코비안 노름 $B^{\text{Jac}}_{1:D}$ 는 $\prod_d B_{d,2}$ 와 비교해 깊이에 따라 더 천천히 증가하므로, 깊이에 대해 이차 이하 또는 더 느린 의존성을 보인다.
• CNN에서는 경계가 $\widetilde{\mathcal{O}}\big{(}(k/s)^{D/2} \sqrt{Dk^2}/\sqrt{m}\big{)}$ 로 표현되며, 이는 이전 연구에서의 $\widetilde{\mathcal{O}}\big{(}(k/s)^{(D-1)/2} \sqrt{D^3 p^2}/\sqrt{m}\big{)}$ 보다 더 날카롭다.
• 실증 결과는 필터 노름이 작을수록 일반화 오차가 감소하지만, 너무 작은 노름은 정확도를 떨어뜨린다는 것을 확인하였으며, 이는 균형 잡힌 가중치 초기화의 필요성을 확인한다.
• 조금 더 정교한 $B^{\text{Jac}}_{1:D}$ 가 아닌 $\prod_d B_{d,2}$ 를 사용할 때조차 경계는 날카로운 편이지만, 후자는 여전히 상당히 작은 값을 제공하여 그 우수성을 확인한다.