[논문 리뷰] Classification with Rejection Based on Cost-sensitive Classification

Nontawat Charoenphakdee, Zhenghang Cui외 2명|arXiv (Cornell University)|2020. 10. 22.

Machine Learning and Data Classification참고 문헌 55인용 수 8

한 줄 요약

이 논문은 클래스 사후 확률 추정을 피하면서도 정확도 향상과 더불어 볼록이 아닌 손실 함수까지도 유연하게 지원할 수 있는, 거절을 고려한 분류를 위한 새로운 비용 감수성 분류 기반 방법을 제안한다. 이는 임의의 분류 캘리브레이션 손실 함수에 대해 이론적으로도 타당성이 있으며, 초우의 규칙과 일치하는 최적의 거절 결정을 가능하게 한다. 이 방법은 비용 감수성 분류기의 앙상블을 사용하여 초우의 규칙에 부합하는 최적의 거절 결정을 달성한다.

ABSTRACT

The goal of classification with rejection is to avoid risky misclassification in error-critical applications such as medical diagnosis and product inspection. In this paper, based on the relationship between classification with rejection and cost-sensitive classification, we propose a novel method of classification with rejection by learning an ensemble of cost-sensitive classifiers, which satisfies all the following properties: (i) it can avoid estimating class-posterior probabilities, resulting in improved classification accuracy, (ii) it allows a flexible choice of losses including non-convex ones, (iii) it does not require complicated modifications when using different losses, (iv) it is applicable to both binary and multiclass cases, and (v) it is theoretically justifiable for any classification-calibrated loss. Experimental results demonstrate the usefulness of our proposed approach in clean-labeled, noisy-labeled, and positive-unlabeled classification.

연구 동기 및 목표

• 의료 진단 및 제품 점검과 같은 고위험 응용 분야에서의 위험한 잘못된 분류 문제를 해결한다.
• 클래스 사후 확률 추정이 필요 없는 분류와 거절을 위한 방법을 개발한다.
• 복잡한 수정 없이도 비유연한, 비볼록 손실 함수를 사용할 수 있도록 한다.
• 이진 및 다중 클래스 설정 모두에서 임의의 분류 캘리브레이션 손실 함수에 대해 이론적 근거를 확보한다.
• 비용 감수성 학습을 통해 초우의 거절 규칙과 일치하는 최적의 결정 경계를 확보한다.

제안 방법

• 거절을 유효한 출력 클래스로 간주하고 비용 매개변수 c를 부여함으로써, 거절이 포함된 분류 문제를 비용 감수성 분류 문제로 공식화한다.
• 각각의 마진 기반 손실 함수 ϕ를 최소화하도록 훈련된 비용 감수성 분류기의 앙상블을 사용한다.
• 최종 결정 규칙을 f(x; g*) = argmax_y g_y^*(x)로 정의하며, max_y g_y^*(x) > 0이면 이를 출력하고, 그렇지 않으면 거절(출력 ⊥)을 수행한다.
• 분류 캘리브레이션 마진 손실과 비용 감수성 분류의 베이즈 최적 해 사이의 이론적 연결을 활용한다.
• 가중치 위험 최소화 문제의 최적 해 g*가 비용 감수성 학습 하에서 베이즈 최적 분류기와 정확히 일치하도록 보장한다.
• ϕ가 분류 캘리브레이션일 경우, 결과적으로 도출된 결정 규칙 f(x; g*)가 초우의 최적 거절 규칙과 정확히 일치함을 증명한다.

실험 결과

연구 질문

• RQ1 클래스 사후 확률 추정 없이도 분류와 거절을 비용 감수성 분류 문제로 효과적으로 공식화할 수 있는가?
• RQ2 제안된 방법이 임의의 분류 캘리브레이션 손실 함수 하에서도 이론적으로 최적성을 유지하는가?
• RQ3 복잡한 재매개변수화나 수정 없이도 비볼록 손실 함수를 지원할 수 있는가?
• RQ4 깨끗한 레이블, 노이즈가 있는 레이블, 양성-미레이블 설정에서의 데이터에서 이 방법의 성능은 어떠한가?
• RQ5 비용 감수성 분류기의 앙상블에서 유도된 결정 규칙이 초우의 최적 거절 규칙과 동일한가?

주요 결과

• 제안된 방법은 클래스 사후 확률 추정이 필요 없이 비용 감수성 분류기로부터 직접 학습함으로써 최적의 분류와 거절을 달성한다.
• 이론적으로 타당성이 확보되어 있다: 마진 손실 ϕ가 분류 캘리브레이션일 경우, 결과적으로 도출된 결정 규칙 f(x; g*)는 초우의 최적 거절 규칙과 정확히 일치한다.
• 알고리즘적 변경 없이도 볼록 및 비볼록 손실 함수를 모두 지원하여 모델 설계의 유연성을 보장한다.
• 실험 결과는 깨끗한 레이블, 노이즈가 있는 레이블, 양성-미레이블 데이터셋 모두에서 뛰어난 성능을 보이며, 강건성을 입증한다.
• 이론적 일致성이 유지된다: 손실 함수가 분류 캘리브레이션되지 않은 경우, 결정 규칙은 초우의 규칙과 다를 수 있으며, 이는 캘리브레이션의 필요성을 입증한다.
• 이 방법은 이진 및 다중 클래스 분류 모두에 적용 가능하며, 구조적 수정 없이도 동일하게 적용된다.