[논문 리뷰] Fantastic Generalization Measures and Where to Find Them

Yiding Jiang, Behnam Neyshabur외 3명|arXiv (Cornell University)|2019. 12. 04.

Machine Learning and Algorithms참고 문헌 41인용 수 153

한 줄 요약

큰 규모의 경험적 연구로 40개의 복잡도/일반화 지표를 10,000개가 넘는 CNN에 걸쳐 varying hyperparameters로 평가하여 어떤 지표가 일반화와 일관되게 관련되는지 식별합니다.

ABSTRACT

Generalization of deep networks has been of great interest in recent years, resulting in a number of theoretically and empirically motivated complexity measures. However, most papers proposing such measures study only a small set of models, leaving open the question of whether the conclusion drawn from those experiments would remain valid in other settings. We present the first large scale study of generalization in deep networks. We investigate more then 40 complexity measures taken from both theoretical bounds and empirical studies. We train over 10,000 convolutional networks by systematically varying commonly used hyperparameters. Hoping to uncover potentially causal relationships between each measure and generalization, we analyze carefully controlled experiments and show surprising failures of some measures as well as promising measures for further research.

연구 동기 및 목표

• 다양한 모델 전반에서 잘 확립된 복잡도 지표와 경험적 지표가 일반화를 얼마나 잘 예측하는지 평가합니다.
• 허위 상관관계를 피하기 위한 광범위한 제어 실험을 사용해 지표의 신뢰성을 정량화합니다.
• 지표와 일반화 사이의 인과관계에 근접한 관계를 새로운 평가 도구로 조사합니다.
• 일반화 측정의 이론 및 실무의 향후 가능 방향에 대한 가이드를 제공합니다.

제안 방법

• 7개의 하이퍼파라미터를 각 3가지 선택으로 바꿔 수렴 기준이 충족될 때까지 2187개의 CIFAR-10 모델을 학습합니다.
• 각 모델에 대해 PAC-Bayes, VC 차원, 노름 기반, 경험적 지표를 포괄하는 40개의 복잡도 지표를 계산합니다.
• 켈던의 순위 상관관계 tau를 사용해 모든 모델에서 지표-일반화 정렬을 평가합니다.
• 매 하이퍼파라미터별 분석을 통해 매개변수별 예측력을 탐지하는 granulated correlation을 도입합니다.
• IC 알고리즘에서 영감을 얻은 조건부 독립성 프레임워크를 사용해 지표와 일반화 간 잠재적 인과 관계를 평가합니다.
• 결과의 강건성을 테스트하기 위해 SVHN 데이터셋에서도 분석을 반복합니다.

실험 결과

연구 질문

• RQ1 다양한 하이퍼파라미터 공간에서 일반화와 강하게 연관된 복잡도 지표는 어떤 것이 있는가?
• RQ2 노름 기반 또는 여유/여유치 관련 지표가 일반화를 안정적으로 예측하는가, 그리고 어떤 학습 조건에서 그런가?
• RQ3 제어된 실험과 조건부 독립성을 이용해 지표와 일반화 사이의 허위 상관관계와 인과 관계를 구분할 수 있는가?
• RQ4 다른 하이퍼파라미터가 다양한 지표의 예측력에 어떻게 영향을 미치는가?
• RQ5 샤프니스 기반 및 최적화 관련 지표가 전통적 경계보다 일반화에 더 예측력 있는가?

주요 결과

• 일부 복잡도 지표는 허위 상관관계를 보이며 신중한 실험 설계 없이는 오해를 불러일으킬 수 있습니다.
• 최적화에 확률적 요소가 적용될 때 다수의 노름 기반 지표는 일반화와 음의 상관을 보입니다(특히 스펙트럴 노름의 곱으로 한정된 경계).
• 샤프니스 기반 지표를 포함한 PAC-Bayes 스타일 경계가 일반화 간격의 예측자로서 전반적으로 가장 우수하게 작동합니다.
• 최적화 관련 지표(예: 그래디언트 노이즈, 최적화 속도)가 일반화에 대해 예측력을 보여줍니다.
• 스펙트럴 복잡도는 예기치 않게 작동합니다; 스펙트럴 경계는 일반화와 음의 상관관계를 보이며, 초기화까지의 Frobenius 거리도 음의 상관일 수 있고, Frobenius 파라미터 노름은 양의 상관일 수 있습니다.
• 경험적 지표인 교차 엔트로피, 여유, 출력 엔트로피는 더 큰 여유와 더 높은 출력 엔트로피가 더 나은 일반화와 관련된다는 일반적인 이해와 일치합니다.