[논문 리뷰] A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks

Behnam Neyshabur, Srinadh Bhojanapalli외 1명|arXiv (Cornell University)|2017. 07. 29.

Neural Networks and Applications인용 수 107

한 줄 요약

이 논문은 PAC-Bayes 프레임워크를 사용하여 feedforward ReLU 네트워크에 대한 여유(margin)-기반 일반화 경 boundaries를 도출하고, 그 경계가 층의 스펙트럴 노름의 곱과 각 층의 Frobenius 노름의 합으로의 의존성, 네트워크 출력에 대한 섭동 기반 분석을 통해 나타난다.

ABSTRACT

We present a generalization bound for feedforward neural networks in terms of the product of the spectral norm of the layers and the Frobenius norm of the weights. The generalization bound is derived using a PAC-Bayes analysis.

연구 동기 및 목표

• 매개변수 수 대신 노름에 의존하는 과다 매개화된 신경망의 일반화 경계 동기를 제시한다.
• 피드포워드 ReLU 네트워크에 대한 여유 기반 PAC-Bayes 경계를 개발한다.
• 새로운 경계를 기존의 스펙트럼 정상화 여유 경계와 관련시키고 VC 기반 경계에 대한 우위가 나타나는 영역을 논의한다.
• 섭동(샤프니스) 분석을 통한 직관을 제공하고 기존의 노름 기반 경계와 비교한다.

제안 방법

• 여유 손실 L_gamma과 경험적 여유 손실 hat{L}_gamma를 정의한다.
• 사전 P와 섭동 u를 갖는 무작위 예측기 f_{w+u}에 대한 PAC-Bayes 경계를 사용한다.
• 레이어 스펙트럴 노름으로 표현된 가중치 섭동에 대한 출력 변화를 한정하는 섭동 경계(Lemma 2)를 증명한다.
• L_0 <= hat{L}_gamma + 층별 스펙트럴 노름의 곱과 각 층의 Frobenius 노름의 합을 포함하는 복잡도 항이 있는 일반화 경계(Theorem 1)를 도출한다.
• 가중치를 정규화하여 층별 스펙트럴 노름을 같게 하고, 보정된 분산의 가우스 사전을 적용하여 KL 항을 한정한다.
• Bartlett 등(2017a)의 경계와 비교하고 새로운 경계가 VC 경계를 지배하는 영역을 논의한다.

실험 결과

연구 질문

• RQ1 PAC-Bayes를 어떻게 활용해 심층 ReLU 네트워크에 대한 여유 기반 일반화 경계를 도출할 수 있는가?
• RQ2 레이어별 스펙트럴 노름과 Frobenius 노름이 결과 일반화 경계에 어떤 영향을 미치는가?
• RQ3 제안된 경계가 VC 차원 또는 다른 노름 기반 경계보다 개선되는 영역은 어떤 영역인가?
• RQ4 섭동(샤프니스) 관점이 과다 매개화 네트워크의 일반화와 어떤 관련이 있는가?

주요 결과

• 레이어 스펙트럴 노름의 곱과 각 층의 Frobenius-노름 대 스펙트럴 노름 비의 합에 비례하는 여유 기반 일반화 경계를 얻는다.
• 섭동 경계는 가중치 섭동에 따른 출력 변화를 스펙트럴 노름으로 정량화하여 샤프니스와 일반화를 연결한다.
• 정리 1은 경계를 경험적 여유 손실에 더하여 B^2 d^2 h log(dh)와 스펙트럴 노름의 곱 및 Frobenius 노름의 합으로 증가하는 복잡도 항으로 표현한다.
• 이 경계는 Bartlett et al. (2017a) 경계와 달리 가중치의 희소성 및 노름 구조에 따라 지배적 영역이 달라지는 다른 영역의 우위를 제공한다.
• 저자들은 자신의 경계가 VC 기반 경계를 능가할 수 있는 경우를 논의하며, 완만한 고유값 집중도나 구조적 희소성을 가능 조건으로 강조한다.