[논문 리뷰] Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration

Shengjia Zhao, Michael P. Kim외 3명|arXiv (Cornell University)|2021. 07. 12.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 다중 분류 예측을 위한 새로운 校정 프레임워크인 결정 보정을 소개한다. 이는 예측 확률이 고정된 행동 집합에서 선택하는 决정자들에게 진짜 결과와 구별할 수 없도록 보장한다. 저자는 정확도를 떨어뜨리지 않고 ImageNet과 피부 병변 분류에서 의사결정 및 손실 추정을 향상시키는 샘플 효율적인 재보정 알고리즘을 제안하며, 기존의 지수적 샘플 복잡도 대신 다항식 샘플 복잡도로 근접 분포 보정을 달성한다.

ABSTRACT

When facing uncertainty, decision-makers want predictions they can trust. A machine learning provider can convey confidence to decision-makers by guaranteeing their predictions are distribution calibrated -- amongst the inputs that receive a predicted class probabilities vector $q$, the actual distribution over classes is $q$. For multi-class prediction problems, however, achieving distribution calibration tends to be infeasible, requiring sample complexity exponential in the number of classes $C$. In this work, we introduce a new notion -- \\emph{decision calibration} -- that requires the predicted distribution and true distribution to be ``indistinguishable'' to a set of downstream decision-makers. When all possible decision makers are under consideration, decision calibration is the same as distribution calibration. However, when we only consider decision makers choosing between a bounded number of actions (e.g. polynomial in $C$), our main result shows that decisions calibration becomes feasible -- we design a recalibration algorithm that requires sample complexity polynomial in the number of actions and the number of classes. We validate our recalibration algorithm empirically: compared to existing methods, decision calibration improves decision-making on skin lesion and ImageNet classification with modern neural network predictors.

연구 동기 및 목표

• 모델 훈련 과정에 대한 통찰이 없는 의사결정자들이 신뢰할 수 있는 기계학습 예측을 확보하기 위해.
• 클래스 수에 따라 지수적으로 증가하는 다중 분류 환경에서 분포 보정의 금지적 샘플 복잡도를 극복하기 위해.
• 유한한 수의 행동에서 선택하는 현실적인 의사결정자들을 위해 의사결정의 무결성을 유지하는 실현 가능한 보정 개념을 개발하기 위해.
• 정확도나 가능성도 떨어뜨리지 않고 효율적으로 결정 보정을 달성하는 후처리 재보정 알고리즘을 설계하기 위해.
• 기존의 재보정 방법과 비교해 더 나은 의사결정 손실 추정 및 성능 향상을 가능하게 하는지 검증하기 위해.

제안 방법

• 결정 보정을 분포 보정의 일반화로 도입하며, 예측이 특정 손실 함수를 사용하는 의사결정자들에게 진짜 결과와 구별할 수 없도록 해야 한다.
• 입력 특징에 직접 의존하지 않고 예측 확률에만 의존하는 손실 함수의 가족에 대해 결정 보정을 정의한다.
• 모든 유한한 행동 집합에 대해 사전 학습된 모델을 후처리하여 결정 보정을 달성하는 재보정 알고리즘을 제안한다.
• 행동 집합이 유한한 의사결정자들의 기대 손실을 최소화하도록 예측 확률을 조정하기 위해 제약 최적화 프레임워크를 사용한다.
• 모든 가능한 확률 벡터가 아닌 관련 있는 결정 경계에만 집중함으로써 샘플 효율적인 접근을 구현하며, 클래스 수에 대해 지수적 복잡도에서 다항식 복잡도로 감소시킨다.
• 디렉리흐 및 신뢰도 보정과 비교하여 딥 네URAL 네트워크 예측기로 ImageNet과 HAM10000에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 예측이 의사결정자들에게 신뢰할 수 있도록 보장하면서도 지수적 샘플 복잡도가 아닌 다항식 샘플 복잡도를 갖는 보정 프레임워크를 개발할 수 있는가?
• RQ2 결정 보정은 기존의 분포 보정, 신뢰도 보정, 클래스별 보정과 어떤 관계가 있는가?
• RQ3 클래스 수와 행동 수에 대해 다항식 샘플 복잡도로 강력한 보정 보장을 달성하는 것이 가능한가?
• RQ4 결정 보정은 실제 다중 분류 과제에서 의사결정 성능 향상과 손실 추정 정확도 향상에 기여하는가?
• RQ5 재보정 절차는 정확도나 가능성도 유지하거나 향상시키면서 보정 성능을 향상시킬 수 있는가?

주요 결과

• 모든 가능한 의사결정 규칙을 고려할 경우 결정 보정은 분포 보정과 동일하지만, 의사결정자가 유한한 행동 수에서 선택할 경우 다항식 샘플 복잡도로 실현 가능해진다.
• 제안된 재보정 알고리즘은 ImageNet과 HAM10000에서 의사결정 성능을 향상시키며, 클래스 수가 증가할수록 디렉리흐 보정보다 더 일관된 성과 향상을 보인다.
• 평균적으로 재보정 과정은 정확도를 0.30% 향상시키고 L2 오차를 0.00173 감소시켜 예측 성능 저하 없음을 시사한다.
• 1000개의 클래스가 있는 경우에도 결정 보정은 측정 가능한 이점을 제공하여 소수 클래스 설정을 넘어서도 확장 가능함을 보여준다.
• 결정 보정은 진짜 레이블 없이도 레이블이 없는 데이터만으로 의사결정 손실을 더 정확하게 추정할 수 있도록 하여 모델 평가를 지원한다.
• 유한한 행동 가정과 효율적인 최적화 덕분에, 클래스 수가 증가함에 따라 디렉리흐 보정보다 확장성 면에서 뛰어나다.