[논문 리뷰] Spectrally-normalized margin bounds for neural networks

Peter L. Bartlett, Dylan J. Foster외 1명|arXiv (Cornell University)|2017. 06. 26.

Neural Networks and Applications참고 문헌 2인용 수 173

한 줄 요약

이 논문은 margin-normalized spectral complexity(스펙트럼 노름의 곱에 보정 항을 곱한 값)와 함께 스케일링되는 다중 클래스 신경망에 대한 margin-based 일반화 경계(bound)를 도출하고, MNIST와 CIFAR-10에서 AlexNet과의 실험적 지지(Device) 를 제공한다. 경 bound은 다중 클래스 상태를 유지하며, 로그 요인을 제외하고 계층 수나 유닛 수에 대한 명시적 의존성을 두지 않으며, 학습 중의 마진 분포를 통해 검증된다.

ABSTRACT

This paper presents a margin-based multiclass generalization bound for neural networks that scales with their margin-normalized "spectral complexity": their Lipschitz constant, meaning the product of the spectral norms of the weight matrices, times a certain correction factor. This bound is empirically investigated for a standard AlexNet network trained with SGD on the mnist and cifar10 datasets, with both original and random labels; the bound, the Lipschitz constants, and the excess risks are all in direct correlation, suggesting both that SGD selects predictors whose complexity scales with the difficulty of the learning task, and secondly that the presented bound is sensitive to this complexity.

연구 동기 및 목표

• margin-normalized spectral complexity로 스케일링되는 multiclass 신경망에 대한 margin-based 일반화 경 Bound를 개발한다.
• 경 Bound가 스펙트럴 노름과 보정 인자에 의존하고, 네트워크의 조합적 매개변수에 의존하기보다 이를 보여준다.
• MNIST와 CIFAR 데이터셋에서 AlexNet 유사 구조를 사용하여 경_BOUND를 실험적으로 검증하며, 무작위 라벨 포함.
• margin 정규화가 일반화 역학 및 작업 난이도와 어떻게 정렬되는지 보여준다.

제안 방법

• spectral complexity R_A를 각 층의 스펙트럴 노름의 곱에 margin-normalized 보정항(A_i^T - M_i^T와 2,1 노름을 포함)으로 정의한다.
• 다중 클래스 margin bound(Theorem 1.1)을 증명하여 Pr[argmax F_A(x) ≠ y] ≤ R̂_γ(F_A) + Õ((||X||_2 R_A)/(γ n) log(W) + sqrt(log(1/δ)/n))를 보인다.
• 네트워크 클래스의 Rademacher 복잡도를 상한하기 위해 커버링 넘버 인수와 Maurey sparsification을 사용하여 주요 bound로 이어진다.
• 경 Bound를 margin 분포와 연결하고, 가중치 노름이 커지더라도 정보성을 유지함을 보인다.
• Rademacher 복잡도에 대한 하한을 제공하여 해석의 타이트함을 분석의 일부분에서 보여준다.

실험 결과

연구 질문

• RQ1 margin-normalized spectral complexity로 스케일링되는 multiclass 신경망에 대한 margin-based 일반화 경 Bound를 어떻게 형식화할 수 있는가?
• RQ2 스펙트럴 노름과 margin normalization에 의존하는 경 Bound가 서로 다른 작업과 라벨 구성에서 일반화에 대해 의미 있는 지침을 제공하는가?
• RQ3 깊이(depth)나 폭(width)과 같은 명시적 조합 매개변수보다 로그 요인 수준만으로 독립적으로 만들 수 있는가?
• RQ4 학습 중에 관찰되는 margin 분포가 초과 위험과 작업 난이도를 반영하는가?
• RQ5 표준 데이터셋과 임의 라벨에서 bound의 관련성에 대한 실증적 근거는 무엇인가?

주요 결과

• 마진 기반 경 Bound가 스펙트럼 노름의 곱을 마진으로 나눈 값과 보정 항으로 스케일링되며, 다중 클래스 특성을 가지며 클래스 수에 대한 명시적 의존성은 없다.
• Bound는 스펙트럴 복잡도 R_A와 기준 행렬 M_i에 의존하여 기준 네트워크와의 거리를 포착한다.
• AlexNet 유사 네트워크에 대한 실증 분석은 마진 분포가 작업 난이도 및 초과 위험과 MNIST, CIFAR-10, 라벨/무라벨 설정에서 상관관계가 있음을 보여준다.
• 학습 중에 가중치 노름이 커지더라도 마진 분포가 수렴하고, 이들 실험에서 L2 정규화가 마진이나 일반화에 큰 영향을 주지 않는다.
• 마진을 의미 있게 개선하는 정규화는 남아있는 문제로 식별되며, 일반적인 가중치 감소와 마진 최적화 사이의 격차를 시사한다.