[논문 리뷰] Robustness to Pruning Predicts Generalization in Deep Neural Networks

Lorenz Kuhn, Clare Lyle외 3명|arXiv (Cornell University)|2021. 03. 10.

Machine Learning and Algorithms참고 문헌 33인용 수 9

한 줄 요약

이 논문은 신경망의 단순성에 대한 새로운 측정 기준인 '프루닝 가능성(prunability)'을 도입한다. 프루닝 가능성은 훈련 손실이 증가하지 않도록 유지할 수 있는 최소한의 파라미터 비율로 정의된다. 이는 다양한 모델에서 일반화 성능을 강력하게 예측하며, 과다 매개변수화된 설정과 더불어 이중 내림표현(double descent) 영역에서 기존의 복잡도 측정 기준들을 능가한다.

ABSTRACT

Existing generalization measures that aim to capture a model's simplicity based on parameter counts or norms fail to explain generalization in overparameterized deep neural networks. In this paper, we introduce a new, theoretically motivated measure of a network's simplicity which we call prunability: the smallest \emph{fraction} of the network's parameters that can be kept while pruning without adversely affecting its training loss. We show that this measure is highly predictive of a model's generalization performance across a large set of convolutional networks trained on CIFAR-10, does not grow with network size unlike existing pruning-based measures, and exhibits high correlation with test set loss even in a particularly challenging double descent setting. Lastly, we show that the success of prunability cannot be explained by its relation to known complexity measures based on models' margin, flatness of minima and optimization speed, finding that our new measure is similar to -- but more predictive than -- existing flatness-based measures, and that its predictions exhibit low mutual information with those of other baselines.

연구 동기 및 목표

• 과다 매개변수화된 딥 신경망에서 기존의 일반화 측정 기준(예: 파라미터 노름 및 수)이 일반화 성능을 예측하지 못하는 데서 기인하는 실패를 해결한다.
• 모델 단순성에 대한 이론적으로 타당한 새로운 측정 기준을 도입하여, 더 큰 모델일수록 일반화가 더 나쁘다고 오류적으로 예측하는 비직관적인 결과를 피한다.
• 실증적으로 프루닝 가능성이 CIFAR-10 및 CIFAR-100에서 다양한 컨볼루션 네트워크에 대해 테스트 손실과 강한 상관관계를 보임을 입증한다.
• 프루닝 가능성의 성질이 기존 측정 기준(예: 평탄도, 마진, 최적화 속도)과 구별되는 임베디드 편향을 얼마나 잘 반영하는지 조사한다.
• 일반화 행동이 고전적 편향을 따르지 않는 도전적인 이중 내림표현 영역에서 프루닝 가능성을 평가한다.

제안 방법

• 훈련 후 반복적 프루닝(예: 크기 기반)을 통해 훈련 손실이 증가하지 않도록 유지할 수 있는 최소 파라미터 비율로 프루닝 가능성을 정의한다.
• 반복적 크기 기반 프루닝을 사용하여 각 훈련된 모델의 프루닝 가능성을 계산하고, 훈련 손실이 증가할 경우 정지한다.
• 기존의 일반화 기준(마진, 평탄도(헤시안 곡률을 통한), 최적화 속도, 무작위 변동에 대한 내성)과 프루닝 가능성을 비교한다.
• 조건부 독립성 검정 및 상관관계 분석(예: 켄달의 τ, 조정된 R², 조건부 상호정보)을 통해 프루닝 가능성과 다른 측정 기준 간의 통계적 관계를 평가한다.
• 다양한 아키텍처(예: ResNets)와 데이터셋(CIFAR-10, CIFAR-100)을 대상으로 실험하며, 다양한 모델 폭을 가진 이중 내림표현 설정도 포함한다.
• 같은 크기의 변동을 가진 프루닝과 무작위 가중치 변형의 영향을 훈련 손실과 테스트 손실 측면에서 비교하여 기능적 영향을 분석한다.

실험 결과

연구 질문

• RQ1 프루닝 가능성은 과다 매개변수화된 딥 신경망에서 일반화 성능을 신뢰할 만한 예측자로 기능할 수 있는가?
• RQ2 프루닝 가능성은 파라미터 수나 노름 기반 측정 기준이 모델 크기에 따라 증가하고 더 큰 모델이 일반화가 더 나쁘다고 잘못 예측하는 문제를 피하는가?
• RQ3 프루닝 가능성은 평탄도, 마진, 최적화 속도 등 기존의 일반화 측정 기준과 비교해 어떻게 성능을 발휘하는가?
• RQ4 프루닝 가능성의 예측 능력이 기존 측정 기준과의 상관관계에 기인하는가, 아니면 기존 접근 방식이 포함하지 못하는 별개의 편향을 반영하는가?
• RQ5 일반화 오차가 훈련 데이터 크기를 초월한 모델 용량에서 감소하는 이중 내림표현 영역에서 프루닝 가능성은 어떻게 행동하는가?

주요 결과

• 프루닝 가능성은 CIFAR-10에서 훈련된 다양한 컨볼루션 네트워크에서 일반화 성능을 매우 강력하게 예측하며, 테스트 손실과 강한 상관관계를 보인다.
• 노름 기반 또는 파라미터 수 측정 기준과 달리, 프루닝 가능성은 모델 크기에 따라 증가하지 않으며, 더 큰 모델일수록 일반화가 더 잘 된다는 사실을 정확히 반영한다.
• 이중 내림표현 영역에서 프루닝 가능성은 여전히 테스트 성능을 잘 예측하며, 기존의 강력한 기준들을 능가하거나 동등하게 성능을 발휘한다.
• 프루닝 가능성은 무작위 변동에 대한 내성과 높은 조건부 상호정보를 보이지만, 더 예측 능력이 뛰어나, 더 다른, 더 관련 있는 단순성의 측면을 반영하고 있음을 시사한다.
• 같은 크기의 변동을 가질 때 프루닝은 훈련 손실에 더 큰 부정적 영향을 미치지만, 테스트 손실은 개선될 수 있다. 이는 프루닝 가능성의 뛰어난 성능을 설명할 수 있는 기능적 차이를 시사한다.
• 프루닝 가능성은 평탄도 기반 측정 기준 및 마진 기반 측정 기준과 낮은 상호정보를 보이며, 이는 기존 접근 방식이 포함하지 못하는 별개의 편향을 반영하고 있음을 나타낸다.