[논문 리뷰] Small Data, Big Decisions: Model Selection in the Small-Data Regime

Jörg Bornschein, Francesco Visin외 1명|arXiv (Cornell University)|2020. 09. 26.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 과다 매개변수화된 신경망의 일반화 성능이 훈련 데이터셋 크기와 어떻게 변하는지 조사하며, 특히 작은 데이터셋에서 더 안정적인 성능 순위로 더 신뢰할 수 있는 모델 선택이 가능하다는 점을 입증한다. 또한 일반화 지표의 안정성을 높이기 위해 온도 보정을 도입하여 교차 엔트로피 지표를 안정화시키고, 이로써 소규모 데이터에서 정당한 오카무의 면도 원칙을 고려한 최소 기술 길이(MDL) 추정이 가능하게 한다.

ABSTRACT

Highly overparametrized neural networks can display curiously strong generalization performance - a phenomenon that has recently garnered a wealth of theoretical and empirical research in order to better understand it. In contrast to most previous work, which typically considers the performance as a function of the model size, in this paper we empirically study the generalization performance as the size of the training set varies over multiple orders of magnitude. These systematic experiments lead to some interesting and potentially very useful observations; perhaps most notably that training on smaller subsets of the data can lead to more reliable model selection decisions whilst simultaneously enjoying smaller computational costs. Our experiments furthermore allow us to estimate Minimum Description Lengths for common datasets given modern neural network architectures, thereby paving the way for principled model selection taking into account Occams-razor.

연구 동기 및 목표

• 과다 매개변수화된 신경망의 일반화 성능이 훈련 데이터셋 크기와 어떻게 변하는지 이해하는 것, 특히 소규모 데이터 환경에서의 변화를 분석하는 것.
• 특히 해석 경계를 초월한 상황에서도 다양한 훈련 데이터셋 크기에서 모델 성능 순위가 일관된지 조사하는 것.
• 일반화 지표의 안정성을 확보하기 위해 신경망 출력을 보정하여 최소 기술 길이(MDL) 추정을 가능하게 함으로써 체계적인 모델 선택을 가능하게 하는 것.
• 완전한 데이터셋 대비 소규모 데이터 서브셋을 사용할 경우 성능 신호의 노이즈와 분산이 감소하여 계산 비용을 절감할 수 있음을 보여주어 모델 선택 및 신경망 아키텍처 탐색의 효율성을 높이는 것.

제안 방법

• ImageNet, CIFAR10, MNIST, EMNIST의 서브셋을 사용해 다양한 딥러닝 아키텍처(ResNets, VGG, MLPs 등)를 훈련시키며, 클래스당 몇 개의 예제에서부터 전체 데이터까지 훈련 데이터셋 크기를 체계적으로 변화시킨다.
• 소프트맥스 출력에 온도 스케일링을 적용하여 모델 확률을 보정하고, 보정되지 않은 교차 엔트로피를 안정적이고 잘 조율된 일반화 지표로 전환한다.
• 예측된 성능 곡선을 통합하여 훈련 데이터셋 크기의 함수로 최소 기술 길이(MDL)를 추정하기 위해 전순차적(prequential, 시간 순서 기반) 코딩 프레임워크를 적용한다.
• 성능 곡선의 트라프레지oidal 적분을 통해 모델 쌍 간의 MDL 로그-증거 차이를 계산하며, 불확실성은 다수의 랜덤 시드와 다양한 간격 포인트를 통해 추정한다.
• 훈련 데이터셋 서브셋이 중첩되어 있음을 보장함(즉, 더 큰 데이터셋은 더 작은 데이터셋을 포함함)으로써 전순차적 MDL 추정 과정의 일관성을 유지한다.
• 다양한 아키텍처와 최적화 설정에서 일반화 오차와 보정된 교차 엔트로피를 비교하여 성능 순위의 강인성을 검증한다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 신경망의 상대적 일반화 성능 순위가 소규모 대비 대규모 훈련 데이터셋에서 유지되는가?
• RQ2 온도 보정이 과적합 영역에서도 다양한 모델 크기와 훈련 데이터셋 크기에서 일반화 교차 엔트로피 지표를 안정화시킬 수 있는가?
• RQ3 소규모 훈련 서브셋과 보정된 예측을 사용해 딥 뉴럴 네트워크에 대해 신뢰할 수 있는 최소 기술 길이(MDL) 추정이 가능한가?
• RQ4 완전한 데이터셋 대비 소규모 데이터 서브셋을 사용할 경우 성능 신호의 노이즈와 분산이 감소하여 더 안정적인 모델 선택 신호를 제공하는가, 비록 계산 비용은 줄어들더라도?
• RQ5 보정된 성능 곡선에 기반한 MDL 기반 모델 선택은 오카무의 면도 원칙을 고려하는 히وري스틱 아키텍처 탐색의 체계적인 대안이 될 수 있는가?

주요 결과

• 과다 매개변수화된 모델은 클래스당 최소 10개의 예제만으로도 훈련된 경우에도 일반화 성능 순위를 유지함으로써, 소규모 데이터에서의 모델 선택에 대한 강력한 경험적 가설을 뒷받침한다.
• 온도 보정은 보정되지 않은 일반화 교차 엔트로피를 안정적이고 잘 조율된 지표로 전환하며, 극단적인 과적합 조건에서도 실제 일반화 오차와 강한 상관관계를 보인다.
• 훈련 데이터셋 크기 대비 성능 곡선의 면적은 최소 기술 길이(MDL)에 대한 신뢰할 수 있는 추정치를 제공하며, 오카무의 면도 원칙을 고려한 체계적인 모델 선택을 가능하게 한다.
• 완전한 데이터셋 대비 소규모 데이터 서브셋(예: 클래스당 10~100개 예제)을 사용할 경우 성능 신호의 노이즈와 분산이 감소하여 더 강인하고 신뢰할 수 있는 모델 선택 결정을 가능하게 한다.
• CIFAR10과 ImageNet에서 모델 간 MDL 로그-증거 차이를 분석한 결과 일관되고 낮은 불확실성 추정치(<20k nats)를 보였으며, ImageNet에서 ResNet-101은 ResNet-50보다 87k nats 낮은 기술 길이를 기록했다.
• 중첩된 훈련 데이터셋 서브셋과 보정된 교차 엔트로피를 사용해 MDL를 계산함으로써, 전체 데이터 훈련이 필요 없이도 효율적이고 확장 가능하며 이론적으로 타당한 모델 선택이 가능하다.