[논문 리뷰] Representation Based Complexity Measures for Predicting Generalization in Deep Learning

Parth Natekar, Manik Sharma|arXiv (Cornell University)|2020. 12. 04.

Advanced Neural Network Applications참고 문헌 25인용 수 16

한 줄 요약

이 논문은 깊이 있는 신경망 표현의 품질—특히 일관성, 내성, 분리 가능성—기반으로 일반화 성능을 예측하는 사후 복잡도 측정법을 제안한다. 일관성에 대해서는 Davies-Bouldin 지수를, 내성에 대해서는 레이블별 Mixup 기반 측정법을, 분리 가능성에 대해서는 마진 분포를 사용하여, NeurIPS 2020 딥 러닝 일반화 경쟁에서 최고 성능을 기록하였으며, 다양한 아키텍처와 하이퍼파라미터에 걸쳐 높은 예측 능력을 입증하고, 계산 비용은 최소화하였다.

ABSTRACT

Deep Neural Networks can generalize despite being significantly overparametrized. Recent research has tried to examine this phenomenon from various view points and to provide bounds on the generalization error or measures predictive of the generalization gap based on these viewpoints, such as norm-based, PAC-Bayes based, and margin-based analysis. In this work, we provide an interpretation of generalization from the perspective of quality of internal representations of deep neural networks, based on neuroscientific theories of how the human visual system creates invariant and untangled object representations. Instead of providing theoretical bounds, we demonstrate practical complexity measures which can be computed ad-hoc to uncover generalization behaviour in deep models. We also provide a detailed description of our solution that won the NeurIPS competition on Predicting Generalization in Deep Learning held at NeurIPS 2020. An implementation of our solution is available at https://github.com/parthnatekar/pgdl.

연구 동기 및 목표

• 과도하게 파rameter화된 딥 뉴럴 네트워크에서 일반화를 예측할 수 있는 실용적 사후 측정법의 부족을 해결하기 위해.
• 인간 시각 표현의 불변성 이론과 딥 러닝 일반화 사이의 격차를 메우기 위해.
• 아키텍처와 하이퍼파라미터 변화에 대해 강건한 직관적이고 계산 효율적인 복잡도 측정법을 개발하기 위해.
• 실제 벤치마크에서 일반화 갭을 예측하는 데 있어 기존 이론적 및 경험적 경계를 뛰어넘기 위해.

제안 방법

• 내부 레이어 활성화에서 군집 내 밀도와 군집 간 분리도를 측정하는 Davies-Bouldin 지수를 사용해 표현의 일관성을 측정한다.
• 특징과 레이블을 선형으로 보간하는 레이블별 Mixup 기법을 통해 내성을 평가하며, 외부 데이터 변형 없이 표현의 불변성을 탐사한다.
• 예측된 클래스 점수와 진짜 클래스 점수 사이의 마진 분포를 사용해 분리 가능성을 평가하며, 변형된 버전은 표현력을 향상시킨다.
• 스케일 불변 측정법인 DB 지수와 레이블별 Mixup을 조합하여 제품 점수를 도입함으로써 일반화 예측 성능을 향상시킨다.
• 계산 효율성을 확보하기 위해 추정에 훈련 데이터의 1%만 사용하여 NeurIPS 2020 경쟁 데이터에 대해 방법을 검증한다.
• 데이터와 아키텍처 지식에 기반한 설계 선택 사항을 최적화하여 공개 및 비공개 테스트 세트에서 모두 높은 점수를 확보한다.

실험 결과

연구 질문

• RQ1 일관성, 내성, 분리 가능성과 같은 표현 품질 지표가 다양한 아키텍처와 하이퍼파라미터에 걸쳐 딥 뉴럴 네트워크의 일반화를 예측할 수 있는가?
• RQ2 인간 시각 시스템에서의 불변성 및 분리된 표현의 신경과학적 원리가 딥 러닝 일반화와 어떻게 관련이 있는가?
• RQ3 훈련 하이퍼파라미터에 접근할 수 없는 실무자들을 위해 사후 복잡도 측정법을 직관적이고 효과적으로 설계할 수 있는가?
• RQ4 절대 측정법(예: 스펙트럼 노름 또는 날카움)에 비해 척도 불변성 및 상대적 측정법이 일반화 예측에서 얼마나 뛰어나게 작용하는가?
• RQ5 예를 들어 훈련 데이터의 소수(1%)만으로도 표현 기반 복잡도 측정법을 사용해 일반화 성능을 추정하는 데에 충분한가?

주요 결과

• 제안된 복잡도 측정법, 특히 Davies-Bouldin 지수와 레이블별 Mixup의 곱은 NeurIPS 2020 경쟁에서 딥 러닝 일반화 예측 최종 과제에서 최고 점수를 기록하였다.
• 일관성, 내성, 분리 가능성과 같은 표현 품질 기반 측정법이 다양한 모델 아키텍처와 하이퍼파라미터에 걸쳐 일반화 갭을 예측하는 데 효과적이었다.
• 훈련 샘플의 1%만으로도 일반화 성능을 신뢰할 만하게 추정할 수 있었으며, 이는 높은 계산 효율성을 입증한다.
• 레이블별 Mixup 변형은 표현의 내성과 불변성을 탐사하는 데 효과적이었으며, 표준 Mixup보다 진단 유용성이 뛰어났다.
• 변형된 마진 분포가 표준 마진만으로는 포착하지 못하는 일반화 행동을 더 잘 표현하는 것으로 나타났다.
• CIFAR-10 및 SVHN 데이터셋에서 스펙트럼 노름과 날카움과 같은 기준 측정법보다 더 높은 상호정보량 점수를 확보하였다.