[논문 리뷰] Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification

Yu Bai, Mei Song외 2명|arXiv (Cornell University)|2021. 02. 15.

Machine Learning and Algorithms참고 문헌 43인용 수 16

한 줄 요약

이 논문은 기계학습 모델의 과신 경향이 과다 매개변수화 때문이라는 일반적인 믿음을 도전한다. 이론적으로 실현 가능 설정에서 조건이 잘 맞는, 과소 매개변수화된 로지스틱 회귀 모델조차도 본질적으로 과신 경향을 보이며, 校정 오차가 Θ(d/n) 비례함을 증명한다. 또한 활성화 함수에 따라 과소신 경향이 발생할 수 있는 조건을 규명한다.

ABSTRACT

Modern machine learning models with high accuracy are often miscalibrated -- the predicted top probability does not reflect the actual accuracy, and tends to be over-confident. It is commonly believed that such over-confidence is mainly due to over-parametrization, in particular when the model is large enough to memorize the training data and maximize the confidence. In this paper, we show theoretically that over-parametrization is not the only reason for over-confidence. We prove that logistic regression is inherently over-confident, in the realizable, under-parametrized setting where the data is generated from the logistic model, and the sample size is much larger than the number of parameters. Further, this over-confidence happens for general well-specified binary classification problems as long as the activation is symmetric and concave on the positive part. Perhaps surprisingly, we also show that over-confidence is not always the case -- there exists another activation function (and a suitable loss function) under which the learned classifier is under-confident at some probability values. Overall, our theory provides a precise characterization of calibration in realizable binary classification, which we verify on simulations and real data experiments.

연구 동기 및 목표

• 이진 분류 모델에서의 과신 경향이 과다 매개변수화 때문인가를 조사하기 위해.
• 실현 가능 설정에서 조건이 잘 맞는, 과소 매개변수화된 로지스틱 회귀의 校정 행동을 분석하기 위해.
• 적절한 모델 사양 하에서 이진 분류에서 과신 또는 과소신 경향이 발생하는 일반 조건을 규명하기 위해.
• 이론적 결과를 시뮬레이션과 CIFAR-10, 그리고 합성 데이터에서의 실제 데이터 실험을 통해 검증하기 위해.

제안 방법

• 고차원 비례 극한(n,d→∞이며 n/d가 크다는 조건)에서의 경험 리스크 최소화 기법(ERM)의 이론적 분석.
• 극한에서 ERM를 특징짓는 비선형 연립방정식의 해의 1차 행동을 유도하기 위해.
• 추정된 가중치 벡터와 진짜 파라미터 벡터를 기반으로 한 校정 곡선의 닫힌 형태 표현식 사용.
• 동일한 ERM 프레임워크 하에서 과소신 경향을 유도하는 특정 활성화 함수의 구성.
• 이론적 예측을 검증하기 위해 n=2000, d=100 조건으로 합성 데이터에서의 로지스틱 회귀 시뮬레이션.
• 실현 가능 가정 하에서 실제 데이터에서의 校정 성능을 테스트하기 위해 CIFAR-10(5- 및 10-클래스 서브셋)에 대해 가짜 레이블링 적용.

실험 결과

연구 질문

• RQ1 로지스틱 회귀에서의 과신 경향은 과다 매개변수화 때문인가, 아니면 모델의 본질적 특성인가?
• RQ2 적절한 모델 사양 하에서 활성화 함수에 어떤 조건이 성립하면 과신 또는 과소신 경향이 발생하는가?
• RQ3 과소 매개변수화된 실현 가능 영역에서 모델 차원과 표본 크기의 변화에 따라 校정 오차는 어떻게 스케일링되는가?
• RQ4 적절한 활성화 함수와 손실 함수 선택을 통해 적절한 사양 하에서 과소신 경향을 유도할 수 있는가?
• RQ5 이론적 예측인 Θ(d/n)의 校정 오차가 실제 데이터와 시뮬레이션에서 얼마나 잘 유지되는가?

주요 결과

• 진짜 모델에서 데이터가 생성되며 n ≫ d 조건이 성립하는 상황에서도 조건이 잘 맞는 로지스틱 회귀는 본질적으로 과신 경향을 보이며, 극한에서 과신 정도는 Θ(d/n)에 해당한다.
• 로지스틱 회귀의 전체 校정 오차는 Θ(d/n)이며, 이는 과신 경향이 체계적이며 과적합이나 기억 현상 때문이 아니라는 것을 확인한다.
• 모든 대칭적이고 단조 증가하는 활성화 함수 중 z > 0 영역에서 오목인 함수는 조건이 잘 맞는 설정에서 모든 신뢰 수준에서 과신 경향을 유도한다.
• 특정 신뢰 수준에서 과소신 경향을 보이는 반례 활성화 함수가 존재하며, 이는 과신 경향이 항상 발생하는 것은 아님을 증명한다.
• 합성 데이터와 실제 데이터(CIFAR-10에 가짜 레이블링 적용)에서의 시뮬레이션을 통해 과소 매개변수화된 설정에서도 과신 경향이 널리 지속됨을 확인하였으며, 엄격한 이론적 가정을 초월하여도 동일한 경향을 보였다.
• 이론적 분석을 통해 고차원 비례 극한에서 ERM 해의 1차 행동을 엄밀히 규명하였으며, 校정 특성에 대한 정밀한 기술을 제공하였다.