[논문 리뷰] On Calibration of Modern Neural Networks

Chuan Guo, Geoff Pleiss외 2명|arXiv (Cornell University)|2017. 06. 14.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 1,715

한 줄 요약

본 논문은 현대 신경망이 보정이 잘 안 되며, 간단한 사후 온도 스케일링이 시각 및 NLP 작업 전반에서 가장 좋은 보정 성능을 낸다는 것을 보여준다.

ABSTRACT

Confidence calibration -- the problem of predicting probability estimates representative of the true correctness likelihood -- is important for classification models in many applications. We discover that modern neural networks, unlike those from a decade ago, are poorly calibrated. Through extensive experiments, we observe that depth, width, weight decay, and Batch Normalization are important factors influencing calibration. We evaluate the performance of various post-processing calibration methods on state-of-the-art architectures with image and document classification datasets. Our analysis and experiments not only offer insights into neural network learning, but also provide a simple and straightforward recipe for practical settings: on most datasets, temperature scaling -- a single-parameter variant of Platt Scaling -- is surprisingly effective at calibrating predictions.

연구 동기 및 목표

• 아키텍처와 데이터세트에 걸쳐 현대 신경망의 보정을 조사한다.
• 깊이, 너비, 가중치 감소, Batch Normalization이 보정에 어떤 영향을 미치는지 정량화한다.
• 사후 처리 보정 방법을 평가하고 실용적이고 효과적인 접근법을 식별한다.

제안 방법

• Reliability diagrams, ECE, 및 MCE를 사용하여 보정을 형식적으로 정의한다.
• 깊이/너비, BN, 가중치 감소 등의 아키텍처/학습 선택이 보정에 미치는 영향을 분석한다.
• 히스토그램 구간화, 등간 회귀(Isotonic regression), BBQ, Platt scaling, temperature scaling, vector/matrix scaling 등과 같은 보정 방법을 비교한다.
• 일대다(one-vs-all), 벡터/행렬 스케일링, 온도 스케일링으로 이진에서 다중 클래스까지 보정 방법을 확장한다.
• 최첨단 아키텍처를 사용한 이미지 및 문서 분류 데이터세트에서 방법들을 평가한다.

실험 결과

연구 질문

• RQ1 현대 신경망이 아키텍처와 데이터세트 전반에서 얼마나 잘 보정되어 있는가?
• RQ2 어떤 아키텍처/학습 선택이 보정 오차를 유발하고, 사후 방법으로 이를 효율적으로 수정할 수 있는가?
• RQ3 실제로 온도 스케일링이 더 복잡한 보정 방법들보다 충분하거나 우수한가?

주요 결과

• 현대 네트워크는 종종 보정이 잘 되지 않는다: 정확도가 높다고 해서 확신의 보정이 잘 된다는 것을 의미하지 않는다.
• 보정 품질은 모델 용량, Batch Normalization, 가중치 감소와 상관관계가 있으며, 더 큰 용량과 BN이 보정을 악화시킬 수 있다.
• 온도 스케일링이 일반적으로 더 복잡한 보정 방법들보다 성능이 우수하고 계산 속도도 빠르다.
• 히스토그램 기반 방법은 보정을 개선하지만 일반적으로 온도 스케일링보다 뒤처지며, 벡터 스케일링은 온도 스케일링과 유사하게 동작한다.
• 데이터세트별로 보정 성능이 다르게 나타나며, Reuters의 경우 온도 스케일링의 효과가 덜하다.