[논문 리뷰] Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration

Bindya Venkatesh, Jayaraman J. Thiagarajan외 2명|arXiv (Cornell University)|2020. 02. 10.

Gambling Behavior and Treatments참고 문헌 32인용 수 7

한 줄 요약

이 논문은 과다 매개변수를 가진 신경망의 훈련 중 예측 신뢰도를 校정하여 러트너 티켓의 신뢰성과 일반화 성능을 향상시키는 방법을 제안한다. 프루닝 이전에 믹스업, 분산 가중 신뢰도 校정, 가능도 기반 校정, 정규화된 박스 할당과 같은 校정 전략을 통합함으로써, 저자들은 결과적으로 도출된 하위망이 분포 이탈 상황에서도 표준 러트너 티켓 접근 방식보다 최대 12% 높은 정확도를 달성함을 보여주었다. 이는 손상된 CIFAR-10C 벤치마크에서의 결과이다.

ABSTRACT

The hypothesis that sub-network initializations (lottery) exist within the initializations of over-parameterized networks, which when trained in isolation produce highly generalizable models, has led to crucial insights into network initialization and has enabled efficient inferencing. Supervised models with uncalibrated confidences tend to be overconfident even when making wrong prediction. In this paper, for the first time, we study how explicit confidence calibration in the over-parameterized network impacts the quality of the resulting lottery tickets. More specifically, we incorporate a suite of calibration strategies, ranging from mixup regularization, variance-weighted confidence calibration to the newly proposed likelihood-based calibration and normalized bin assignment strategies. Furthermore, we explore different combinations of architectures and datasets, and make a number of key findings about the role of confidence calibration. Our empirical studies reveal that including calibration mechanisms consistently lead to more effective lottery tickets, in terms of accuracy as well as empirical calibration metrics, even when retrained using data with challenging distribution shifts with respect to the source dataset.

연구 동기 및 목표

• 과다 매개변수를 가진 네트워크에서 신뢰도 校정이 러트너 티켓의 품질에 미치는 영향을 조사하는 것.
• 교정된 모델이 분포 이탈 상황에서도 더 나은 일반화 성능을 보이는 하위망을 도출할 수 있는지 평가하는 것.
• 다양한 校정 기법이 러트너 티켓 성능과 신뢰성에 미치는 영향을 탐구하는 것.
• 사전 훈련 단계에서 명시적인 校정을 수행할 경우 표준 LTH보다 더 강건하고 정확한 러트너 티켓을 도출할 수 있는지 확인하는 것.

제안 방법

• 과다 매개변수를 가진 모델의 훈련 중에 믹스업 정규화, 분산 가중 신뢰도 校정(VWCC), 확률 기반 신뢰도 校정 및 확률적 추론(LWCC-SI), 정규화된 박스 할당 등의 다양한 校정 전략을 적용한다.
• 크기 기반 프루닝을 적용하기 전에 과다 매개변수 네트워크를 명시적인 校정 목표를 가지고 훈련시킨다.
• 크기 기반 기준에 따라 네트워크를 프루닝하고, 비영인 가중치를 원래 값으로 재초기화하여 러트너 티켓을 식별한다.
• 표준 및 손상된 테스트 세트(CIFAR-10-C 등)에서 결과로 도출된 희소 하위망을 재훈련하여 일반화 및 신뢰도를 평가한다.
• 정확도 및 기대 신뢰도 오차(ECE)와 같은 표준 지표를 사용해 성능 및 신뢰도를 평가한다.
• 다양한 아키텍처와 데이터셋 간의 결과를 비교하여 校정 이점의 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련 단계에서 신뢰도 校정을 통합할 경우, 러트너 티켓의 분포 이탈 상황에서의 일반화 성능이 향상되는가?
• RQ2 다양한 校정 전략이 러트너 티켓의 정확도와 신뢰성에 어떤 영향을 미치는가?
• RQ3 훈련 중의 校정이 표준 러트너 티켓 초기화 전략을 사용할 때조차 더 나은 성능을 보이는 하위망을 도출할 수 있는가?
• RQ4 CIFAR-10과 같은 복잡하고 도전적인 데이터셋에서는 MNIST나 Fashion-MNIST와 같은 간단한 데이터셋보다 校정의 이점이 더 두드러지는가?

주요 결과

• 사전 훈련 단계에서의 校정은 일관되게 러트너 티켓 성능을 향상시키며, 특히 안개, 서리, 눈과 같은 가장 심각한 CIFAR-10-C 손상 상황에서 최대 12%의 정확도 향상을 보였다.
• 교정된 모델에서 유도된 워닝 티켓은 분포 이탈 상황에서도 표준 LTH 티켓보다 훨씬 우수한 일반화 성능을 보였으며, 고압축 비율에서도 뛰어난 성능을 유지했다.
• 성능 향상은 모든 테스트 데이터셋과 모델에서 기대 신뢰도 오차(ECE)로 측정된 신뢰도 점수의 상당한 향상과 함께 나타났다.
• MNIST나 Fashion-MNIST와 같은 단순한 데이터셋에서는 신뢰도 校정이 거의 개선 효과를 보이지 않아, 校정의 이점이 복잡하고 변동성이 큰 작업에서 더 두드러진다는 것을 시사한다.
• 과도한 정규화, 예를 들어 VWCC에서 드롭아웃 비율을 높일 경우, 이미 잘 校정된 모델에서는 성능이 저하될 수 있어, 校정 강도에 대한 상호 보완적인 관계가 있음을 나타낸다.
• 결과적으로, 사전 훈련 단계에서의 校정은 프루닝 또는 초기화 전략을 수정하지 않고도 러트너 티켓의 정확도와 신뢰도를 향상시키는 강력하고 효과적인 방법임을 입증한다.