[논문 리뷰] Exploring Generalization in Deep Learning

Behnam Neyshabur, Srinadh Bhojanapalli외 2명|arXiv (Cornell University)|2017. 06. 27.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 295

한 줄 요약

이 논문은 여러 제안된 복잡도 측정치(노름, 여유, 샤프니스, 및 PAC-Bayes)를 평가하여 심층 신경망의 일반화를 이해하고 설명하며, 스케일 정규화 및 샤프니스와 노름 간의 상호 작용을 강조합니다.

ABSTRACT

With a goal of understanding what drives generalization in deep networks, we consider several recently suggested explanations, including norm-based control, sharpness and robustness. We study how these measures can ensure generalization, highlighting the importance of scale normalization, and making a connection between sharpness and PAC-Bayes theory. We then investigate how well the measures explain different observed phenomena.

연구 동기 및 목표

• 훈련 오차 그 이상으로 일반화를 주도하는 요인을 동기화하고 분석한다.
• 제안된 복잡도 측정치가 일반화를 보장하거나 관찰 현상을 설명할 수 있는지 평가한다.
• 네트워크 용량과 일반화를 측정하는 데 있어 스케일, 노름, 여유의 역할을 탐구한다.
• 샤프니스와 PAC-Bayes 이론을 연결하여 균형 잡힌 복잡도 측정을 형성한다.

제안 방법

• ReLU 활성화가 있는 심층 네트워크에 대해 여러 복잡도 측정치(노름, 여유, 샤프니스, 및 PAC-Bayes 한계)를 검토하고 형식화한다.
• ||W_i|| 및 경로 노름과 같은 노름 기반 측정을 바탕으로 여유 항(gamma_margin)을 포함한 용량 한계를 도출한다.
• 용량 제어를 위한 Lipschitz 상수의 단독 사용의 한계를 분석하고 Lipschitz 연쇄의 함의와 강건성에 대해 논의한다.
• 기대 샤프니스와 KL 발산을 일반화 보장과 연결하기 위해 PAC-Bayes 한계를 활용한다.
• 진짜 라벨과 무작위 라벨로 학습된 네트워크를 대상으로 네트워크 크기와 다양한 최적화 설정에서 복잡도 측정치가 일반화와 상관관계가 있는지 실험적으로 조사한다.
• 샤프니스와 KL 발산의 이원 기준 도표를 제공하여 공동 용량 제어를 평가한다.

실험 결과

연구 질문

• RQ1 노름 기반 및 여유 기반 용량 측정치가 심층 네트워크의 일반화를 충분히 설명하는가?
• RQ2 PAC-Bayes 프레임워크 내에서 노름과 여유가 샤프니스와 상호 작용하여 일반화를 예측하는가?
• RQ3 이 측정치가 실제 라벨로 학습한 모델과 무작위 라벨로 학습한 모델 간, 또는 서로 다른 네트워크 크기나 최적화 스킴 간의 차이를 구분할 수 있는가?
• RQ4 스케일(출력 크기)이 복잡도 측정치와 일반화에 미치는 영향은 무엇인가?
• RQ5 일부 측정치가 모든 일반화 현상을 설명하지 못하는 경우가 있는가(예: 특정 크기 이상에서의 대형 네트워크)?

주요 결과

• 노름 기반 또는 경로 노름 측정치와 여유를 결합하면 실제 라벨로 학습한 모델과 무작위 라벨로 학습한 모델 간의 일반화 차이를 설명할 수 있다.
• 순수한 샤프니스는 일반화를 단독으로 예측하기에 불충분하며 규모 의존적이다; PAC-Bayes 관점에서 노름과 균형을 맞추면 유용성이 향상된다.
• 기대 샤프니스와 prior에 대한 KL 발산을 함께 고려한 공동 PAC-Bayes 분석이 두 용어 중 어느 하나만을 사용할 때보다 일반화를 더 잘 예측한다.
• 이들 노름과 경로 노름으로 측정한 용량은 파라미터를 단순히 늘리는 것만으로 항상 증가하지 않으며, 네트워크 최적화 편향(암묵적 정규화)과 여유 스케일링이 중요한 역할을 한다.
• 샤프니스 대 KL 발산의 이원 기준 그래프는 실제 라벨로 학습된 모델이 일반적으로 더 우수한 트레이드오프를 달성하는 경향이 있으며, 특히 학습 데이터 크기가 커질수록 그렇다.
• 일부 측정치가 모든 일반화 현상을 설명하지 못하는 것으로 보이며(예: 특정 크기 이상에서의 대형 네트워크), 단일 측정치의 한계를 시사한다.