[논문 리뷰] On the Calibration of Multiclass Classification with Rejection

Chenri Ni, Nontawat Charoenphakdee외 2명|arXiv (Cornell University)|2019. 01. 30.

Imbalanced Data Classification Techniques인용 수 9

한 줄 요약

이 논문은 다중분류에 대한 거절 기능을 연구하며, 두 가지 접근법에 대한 校정 보장을 제안한다: 부드러운 손실 함수(예: 교차 엔트로피)를 사용하는 신뢰도 기반 방법과 분류기-거절기 훈련 방법이다. 연구 결과, 분류기-거절기 접근법은 다중분류 설정에서 엄격한 조건으로 인해 校정에 실패하는 반면, 부드러운 손실 함수를 사용하는 신뢰도 기반 방법은 베이즈 최적의 校정을 달성하며, 기준 데이터셋을 통해 실증적으로 검증되었다.

ABSTRACT

We investigate the problem of multiclass classification with rejection, where a classifier can choose not to make a prediction to avoid critical misclassification. First, we consider an approach based on simultaneous training of a classifier and a rejector, which achieves the state-of-the-art performance in the binary case. We analyze this approach for the multiclass case and derive a general condition for calibration to the Bayes-optimal solution, which suggests that calibration is hard to achieve by general loss functions unlike the binary case. Next, we consider another traditional approach based on confidence scores, in which the existing work focuses on a specific class of losses. We propose rejection criteria for more general losses for this approach and guarantee calibration to the Bayes-optimal solution. Finally, we conduct experiments to validate the relevance of our theoretical findings.

연구 동기 및 목표

• 다중분류에 대한 거절 기능을 갖춘 경우의 이론적 한계, 특히 校정에 관해 이해하는 것.
• 다중분류 문제에 대해 분류기-거절기 훈련 접근법에서 校정의 실현 가능성을 분석하는 것.
• 이론적 보장을 이진분류에서 다중분류로 확장하여, 신뢰도 점수와 부드러운 손실 함수를 사용한 다중분류에 대한 校정 보장을 제공하는 것.
• 표준 다중분류 데이터셋을 대상으로 실증 실험을 통해 이론적 발견을 검증하는 것.

제안 방법

• 다중분류에서 분류기-거절기 접근법에 대한 일반적인 校정 조건을 제안하며, 이 조건이 이진 사례를 초월해 만족하기 어렵다는 것을 보여준다.
• 부드러운 손실 함수(예: 로지스틱, 제곱, 지수, 교차 엔트로피)에서 유도된 신뢰도 점수 기반의 거절 기준을 도입한다.
• 넓은 범위의 부드러운 손실 함수에 대해, 신뢰도 기반 접근법이 다중분류 설정에서 베이즈 최적의 해에 대해 校정을 달성함을 증명한다.
• 무한 샘플 일致성(즉, 校정)을 보장하는 점별 위험 최소화 조건을 유도한다.
• 다양한 거절 비용에서 letter, vehicle, satimage, yeast, covtype 등의 데이터셋을 대상으로 APC, MPC, OVA, CE 등의 다양한 방법을 실증적으로 평가한다.
• 10회의 시험 동안의 거절 비율과 정확도의 평균 및 표준편차를 사용하여 이론적 예측의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 분류기-거절기 접근법은 다중분류 분류에서 校정을 달성할 수 있으며, 어떤 조건이 필요한가?
• RQ2 왜 분류기-거절기 접근법은 이진 분류에 비해 다중분류 설정에서 校정을 달성하기가 어렵게 되는가?
• RQ3 부드러운 손실 함수를 사용하는 신뢰도 기반 거절 방법은 다중분류 분류에서 校정을 보장할 수 있는가?
• RQ4 다양한 거절 비용에서 로지스틱, 지수, 교차 엔트로피 등의 다른 손실 함수는 실질적으로 어떻게 성능을 내는가?
• RQ5 신뢰도 기반 방법의 이론적 校정 보장이 다양한 다중분류 데이터셋에서 실증적으로도 유지되는가?

주요 결과

• 분류기-거절기 접근법은 다중분류 설정에서 엄격한 조건으로 인해 校정에 실패한다. 이 조건은 이진 설정을 초월해 만족하기 어렵다.
• 부드러운 손실 함수(예: 교차 엔트로피, 로지스틱)를 사용하는 신뢰도 기반 접근법은 다중분류 분류에서 베이즈 최적의 해에 대해 校정을 보장한다.
• 실증 결과, 교차 엔트로피 기반의 신뢰도 방법은 낮은 거절 비용(예: 0.05–0.1)에서 높은 정확도와 안정적인 거절 비율을 기록하며, 다른 방법들보다 뛰어난 성능을 보였다.
• APC+log 및 OVA+log 방법은 letter 및 vehicle 데이터셋에서 뛰어난 성능을 보였으며, c=0.05일 때 거절 비율이 약 0.7–0.8 수준이고 정확도는 0.99 이상이었다.
• 분류기-거절기 방법(예: APC+exp)은 yeast 및 covtype와 같은 고클래스 데이터셋에서 떨어진 성능을 보였으며, 높은 거절 비용(예: c=0.4)에서 정확도가 크게 떨어졌다.
• OVA+hin 방법은 yeast 및 covtype에서 성능이 열악했으며, 거절 비율의 표준편차가 높아(예: c=0.4일 때 yeast에서 0.3448) 안정성이 떨어지는 것으로 나타났다.