[논문 리뷰] Consistency of plug-in confidence sets for classification in semi-supervised learning

Christophe Denis, Mohamed Hebiri|arXiv (Cornell University)|2015. 07. 26.

Machine Learning and Algorithms참고 문헌 25인용 수 13

한 줄 요약

이 논문은 반감독 분류에 대한 플러그인 신뢰집합 방법을 제안하며, 거부 확률을 정확히 제어하고 분류된 인스턴스의 오분류 위험을 제한한다. 추정된 조건부 확률과 그 경험적 분포를 바탕으로 신뢰집합을 구성함으로써, 약한 가정 하에 점점 더 일관되고 유한 표본에서의 타당성을 확보하며, 기존의 콫리드 예측 및 거부 옵션 프레임워크에 대한 이론적으로 탄탄한 대안을 제공한다.

ABSTRACT

Confident prediction is highly relevant in machine learning; for example, in applications such as medical diagnoses, wrong prediction can be fatal. For classification, there already exist procedures that allow to not classify data when the confidence in their prediction is weak. This approach is known as classification with reject option. In the present paper, we provide new methodology for this approach. Predicting a new instance via a confidence set, we ensure an exact control of the probability of classification. Moreover, we show that this methodology is easily implementable and entails attractive theoretical and numerical properties.

연구 동기 및 목표

• 기존의 거부 옵션을 갖는 분류 방법들이 거부 확률과 오분류 위험을 제어하지 못하는 한계를 해결하기 위해.
• 분류된 예측에 대해 거부 확률을 정확히 제어하면서도 오분류 위험을 제한하는 방법론을 개발하기 위해.
• 코페르드 예측기법과 고정 파rameter 거부 옵션 프레임워크의 단점을 피하면서도 이론적으로 탄탄하고 구현 가능한 접근법을 제공하기 위해.
• 유연한 정규성 조건 하에서 제안된 신뢰집합의 일관성을 확립하여 반감독 학습 환경에서 신뢰할 수 있는 성능을 보장하기 위해.

제안 방법

• 주어진 분류기 s에 대해 Γs(X) ∈ {{0}, {1}, {0,1}} 형태의 신뢰집합을 구성하며, {0,1}은 거부를 의미한다.
• η̂(x) = P(Y=1|X=x)로 추정된 조건부 확률에서 유도된 추정 점수 함수 f̂(x)에 기반한 플러그인 접근법을 사용한다.
• empirical 누적분포함수 F̂f를 f̂(X)에 적용하고, F̂f(f̂(X)) ≥ 1−ε일 때 거부를 수행한다.
• 이 방법은 수준-ε의 신뢰집합을 보장하며, 약한 가정 하에 P(Γ*(X) = {0,1}) = ε가 정확히 성립한다.
• 유한 표본 범위를 확보하기 위해 Dvoretzky-Kiefer-Wolfowitz 부등식을 사용하여 경험적 분포함수와 진짜 분포함수 간의 편차를 제어한다.
• 표본 크기가 증가함에 따라 추정된 신뢰집합의 위험도 오라클 집합의 위험도로 수렴함을 보여 이론적 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 거부 옵션을 갖는 분류 방법이 거부 확률을 정확히 제어하면서도 오분류 위험을 제한할 수 있는가?
• RQ2 반감독 학습 환경에서 유한 표본 타당성과 점점 일관성을 확보할 수 있는 신뢰집합은 어떻게 구성할 수 있는가?
• RQ3 조건부 확률 추정 오차가 플러그인 신뢰집합의 성능에 미치는 영향은 무엇인가?
• RQ4 이론적 보장을 고려할 때, 제안된 방법은 코페르드 예측 및 고정 파ram터 거부 옵션 프레임워크와 비교해 어떻게 다를까?

주요 결과

• 제안된 플러그인 신뢰집합은 약한 가정 하에 거부 확률을 정확히 제어한다: P(Γ*(X) = {0,1}) = ε.
• 이 방법은 분류된 인스턴스에서의 오분류 위험을 제한하여 신뢰할 수 있는 신뢰도 측정을 보장한다.
• 추정된 신뢰집합의 위험도는 표본 수 N이 증가함에 따라 O(N⁻¹/²) 속도로 오라클 집합의 위험도로 수렴한다.
• Dvoretzky-Kiefer-Wolfowitz 부등식을 통해 점수의 경험적 분포함수와 진짜 분포함수 간의 편차를 제어함으로써 유한 표본 범위를 확보한다.
• η̂(X)의 추정 오차에 대해 강건하며, n → ∞일 때 위험도 차이가 0으로 수렴한다.
• ε가 너무 작을 때 코페르드 예측에서 관찰되는 과다 거부 문제를 피하기 위해 거부 확률을 정확히 ε로 유지함으로써 이 문제를 해결한다.