[논문 리뷰] Identifying Generalization Properties in Neural Networks

Huan Wang, Nitish Shirish Keskar외 2명|arXiv (Cornell University)|2018. 09. 19.

Neural Networks and Applications참고 문헌 18인용 수 39

한 줄 요약

이 논문은 PAC-Bayes 프레임워크 내에서 신경망 일반화와 국소적 해 속성—특히 헤시안, 그 리프시츠 상수, 그리고 파라미터 스케일—사이의 이론적 연결을 수립한다. Hessian를 고려한 펌터베이션 알고리즘을 제안하여 노이즈 수준을 적응적으로 조정함으로써 일반화를 향상시키며, CIFAR-10, CIFAR-100 및 Tiny ImageNet 벤치마크에서 향상된 테스트 정확도를 입증한다.

ABSTRACT

While it has not yet been proven, empirical evidence suggests that model generalization is related to local properties of the optima which can be described via the Hessian. We connect model generalization with the local property of a solution under the PAC-Bayes paradigm. In particular, we prove that model generalization ability is related to the Hessian, the higher-order "smoothness" terms characterized by the Lipschitz constant of the Hessian, and the scales of the parameters. Guided by the proof, we propose a metric to score the generalization capability of the model, as well as an algorithm that optimizes the perturbed model accordingly.

연구 동기 및 목표

• 과도하게 파rameter화된 딥 네트워크가 높은 용량에도 불구하고 잘 일반화되는 이유의 역설을 국소적 해 속성 분석을 통해 해결하기 위해.
• 모델 일반화와 국소적 부드러움 사이의 관계를 헤시안과 그 고차원 성질로 정량화한 것으로서, 이를 형식화하기 위해.
• 이론적으로 탄탄한, 헤시안을 고려한 펌터베이션 알고리즘을 개발하여 적응적 노이즈 주입을 통해 일반화를 향상시키기 위해.
• 테스트 성능과 상관관계가 있으며, 펌터베이션 수준 선택을 안내하는 새로운 일반화 메트릭(pacGen)을 제공하기 위해.

제안 방법

• 손실의 헤시안, 헤시안의 리프시츠 상수, 파라미터 스케일, 그리고 학습 샘플 수에 명시적으로 의존하는 PAC-Bayes 경계를 유도한다.
• 유도된 경계를 바탕으로 일반화 능력을 평가하는 메트릭인 pacGen을 도입한다.
• 추정된 헤시안 대각선 원소와 기울기 크기를 사용하여 노이즈 수준을 적응적으로 설정하는 펌터베이션 기반 최적화 알고리즘(Perturbed OPT)을 제안한다.
• 완전한 헤시안 행렬을 계산하지 않고도 효율적이고 온라인 방식으로 헤시안을 추정하기 위해 지수 이동 평균(Adam과 유사)을 사용한다.
• 기울기 크기가 작을 경우(|g_i| < β₂)에만 펌터베이션을 적용하여 최적화 안정성에 대한 노이즈 영향을 줄인다.
• 펌터베이션 크기를 로그 스케일 감쇠 스케줄로 조정하여 초기 탐색과 후기 정밀 조정의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 모델 일반화는 손실 곡면의 헤시안과 그 고차원 부드러움(헤시안의 리프시츠 상수)과 어떻게 관련이 있는가?
• RQ2 이론적으로 탄탄한 펌터베이션 전략이 국소적 해 기하학을 활용하여 일반화를 향상시킬 수 있는가?
• RQ3 최적의 펌터베이션 수준이 재파rameterization 유도 스케일링 효과를 상쇄할 수 있도록 헤시안에 따라 스케일링되는가?
• RQ4 제안된 일반화 메트릭(pacGen)은 미리 보지 않은 데이터에서 모델 성능을 신뢰성 있게 예측할 수 있는가?
• RQ5 펌터베이션 알고리즘이 훈련 손실을 손상시키지 않고도 정규화 효과를 유도하여 테스트 정확도를 향상시키는가?

주요 결과

• 일반화 오차는 헤시안, 그 리프시츠 상수, 파라미터 스케일, 그리고 학습 샘플 수를 포함하는 항들로 이론적으로 경계지어진다.
• 최적의 펌터베이션 수준은 약 1 / sqrt(Hessian + ρ√m κ)의 스케일을 가지며, Dinh 등(2017)이 보여준 재파arameterization 민감도를 완화한다.
• 제안된 pacGen 메트릭은 일반화 성능과 상관관계가 있으며, 낮은 점수일수록 더 나은 테스트 일반화를 의미한다.
• CIFAR-10 및 CIFAR-100에서 Adam 최적화기와 함께 사용된 펌터베이션 알고리즘은 테스트 정확도를 향상시키며, 훈련 정확도는 약간 감소시켰다.
• Tiny ImageNet에서는 펌터베이션가 적용된 SGD 변형이 베이스라인보다 더 높은 검증 정확도를 달성하여 일관된 정규화 유사 행동을 보였다.
• 알고리즘의 성능은 데이터셋과 최적화기 유형에 관계없이 뛰어난 안정성을 보이며, 헤시안 기반 펌터베이션 원칙의 광범위한 적용 가능성을 시사한다.