[논문 리뷰] Information-Theoretic Local Minima Characterization and Regularization

Zhiwei Jia, Hao Su|arXiv (Cornell University)|2019. 11. 19.

Advanced Neural Network Applications참고 문헌 54인용 수 4

한 줄 요약

이 논문은 깊이 신경망의 국소 최솟값을 특성화하고 정규화하기 위해 피셔 정보의 행렬식에 기반한 정보 이론적 지표를 제안한다. 유용한 근사값과 실용적인 정규화 기법을 도출함으로써, CIFAR-10, CIFAR-100, ImageNet에서 일관된 성능 향상을 이끌어내며, PAC-Bayes에 기반한 이론적 일반화 경계를 제공한다.

ABSTRACT

Recent advances in deep learning theory have evoked the study of generalizability across different local minima of deep neural networks (DNNs). While current work focused on either discovering properties of good local minima or developing regularization techniques to induce good local minima, no approach exists that can tackle both problems. We achieve these two goals successfully in a unified manner. Specifically, based on the observed Fisher information we propose a metric both strongly indicative of generalizability of local minima and effectively applied as a practical regularizer. We provide theoretical analysis including a generalization bound and empirically demonstrate the success of our approach in both capturing and improving the generalizability of DNNs. Experiments are performed on CIFAR-10, CIFAR-100 and ImageNet for various network architectures.

연구 동기 및 목표

• 깊이 신경망에서 일반화 가능한 국소 최솟값의 특성화와 정규화를 통합하는 것.
• 기존 연구에서 일반화 가능성 특성화와 정규화를 별개의 문제로 다루는 격차를 메우는 것.
• 이론적으로 타당하고 경험적으로 효과적인 피셔 정보에 기반한 지표를 개발하는 것.
• 이 지표에서 유도된 실용적인 정규화 기법을 개발하여 일반화를 향상시키되, 훈련 효율성을 저하시키지 않는 것.
• 다양한 아키텍처와 데이터셋에서 일관된 일반화 성능 향상을 입증하는 것.

제안 방법

• 논문은 훈련 데이터로부터 추정한 피셔 정보의 행렬식에 기반한 지표를 도입하여, 이 지표가 일반화 성능과 강한 상관관계를 가짐을 보여준다.
• 이 지표의 효과성을 이론적으로 정당화하기 위해 PAC-Bayesian 일반화 경계를 제시한다.
• 국소 최솟값 간의 실용적 비교를 위해 이 지표의 효율적이고 타당한 근사값을 제안한다.
• 이 지표에서 유도된 새로운 정규화 기법을 개발하여, 알고리즘 1의 수정된 업데이트 규칙을 통해 최적화에 통합한다.
• 초기 최적화 단계에서의 수치적 불안정성을 피하기 위해, 정규화 기법을 후기 훈련 단계에만 선택적으로 적용한다.
• 논문은 ResNet, Wide-ResNet, DenseNet을 대상으로 SGD와 모멘텀을 사용하여 CIFAR-10, CIFAR-100, ImageNet에서 평가한다.

실험 결과

연구 질문

• RQ1 깊이 신경망의 국소 최솟값에서 일반화 성능과 관련된 특성은 무엇인가?
• RQ2 일관된 정보 이론적 지표가 일반화 가능한 최솟값을 동시에 특성화하고 최적화를 이끌 수 있는가?
• RQ3 현대 딥러닝 훈련에 활용하기 위해 피셔 정보의 행렬식을 효율적으로 어떻게 근사할 수 있는가?
• RQ4 이 지표에서 유도된 정규화 기법이 다양한 아키텍처와 데이터셋에서 일관되게 일반화 성능을 향상시키는가?
• RQ5 제안된 방법이 기존의 정규화 및 최적화 기법에 비해 테스트 정확도와 내구성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 피셔 정보의 행렬식에 기반한 제안된 지표는 다양한 국소 최솟값 간의 일반화 성능과 강한 상관관계를 보인다.
• CIFAR-10과 CIFAR-100에서, ResNet-20, Wide-ResNet-28-2, DenseNet-k12에서 일관된 일반화 성능 향상이 관찰되었으며, 여러 시행에서 테스트 오차 감소가 확인되었다.
• ImageNet에서는 평가된 모든 아키텍처에서 일반화 성능 향상이 이루어졌으며, 결과는 3회 시행의 평균 ± 표준편차로 보고되었다.
• 정규화 기법은 미니배치당 훈련 시간을 1.5배로만 증가시켜 계산 효율성이 뛰어나다는 것을 입증했다.
• 제거 실험 결과, 정규화 기법은 중기에서 후기 훈련 단계에서 가장 효과적이며, 학습률이 감소한 후에 적용할 경우 훈련 속도가 크게 향상됨을 확인했다.
• 표 3는 정규화 기법을 사용해 훈련된 모델가 더 낮은 지표값(더 높은 평탄도)을 기록함으로써 일반화 성능 향상과 일치하는 결과를 확인한다.