[논문 리뷰] Does quantification without adjustments work?

Dirk Tasche|arXiv (Cornell University)|2016. 02. 28.

Machine Learning and Data Classification참고 문헌 13인용 수 4

한 줄 요약

이 논문은 Q-측정 기준을 사용하여 특별히 양자화기로 훈련된 분류기에서 후행 조정 없이도 정량화가 가능한지 여부를 조사한다. 분류기 및 수세기(Classify & Count) 방법은 훈련 및 대상의 클래스 우선도가 동일할 경우 충분히 잘 작동할 수 있지만, Q-측정 기준 접근법은 잘못 캘리브레이션될 위험이 있어 실용적 이용 가능성이 훈련 및 대상 클래스 우선도가 거의 동일한 경우에 국한됨을 보여준다.

ABSTRACT

Classification is the task of predicting the class labels of objects based on the observation of their features. In contrast, quantification has been defined as the task of determining the prevalences of the different sorts of class labels in a target dataset. The simplest approach to quantification is Classify & Count where a classifier is optimised for classification on a training set and applied to the target dataset for the prediction of class labels. In the case of binary quantification, the number of predicted positive labels is then used as an estimate of the prevalence of the positive class in the target dataset. Since the performance of Classify & Count for quantification is known to be inferior its results typically are subject to adjustments. However, some researchers recently have suggested that Classify & Count might actually work without adjustments if it is based on a classifer that was specifically trained for quantification. We discuss the theoretical foundation for this claim and explore its potential and limitations with a numerical example based on the binormal model with equal variances. In order to identify an optimal quantifier in the binormal setting, we introduce the concept of local Bayes optimality. As a side remark, we present a complete proof of a theorem by Ye et al. (2012).

연구 동기 및 목표

• 분류기를 정량화 목적으로 특별히 훈련시켰을 때, 후행 조정 없이도 Classify & Count 정량화의 이론적 및 실증적 타당성을 평가하는 것.
• 최적의 정량기 설계에서 캘리브레이션과 분류 성능의 역할을 명확히 하는 것.
• 후행 조정이 없는 조건에서 Q-측정 기준이 신뢰할 수 있는 정량화 성능을 이끌어내는지 조사하는 것.
• 특히 분산이 동일한 이항모형(binormal model)에서 후행 조정 없이 정량화가 실현 가능한 조건을 특정하는 것.

제안 방법

• 등분산 이항모형을 사용하여 다양한 최적화 기준 하에서 정량기 성능을 분석적으로 유도하고 비교한다.
• 이항모형 설정에서 최적의 정량기를 식별하기 위해 국소 베이즈 최적성(local Bayes optimality) 개념을 도입한다.
• Q-측정 기준은 캘리브레이션(NAS*)과 민감도(TPR) 간 균형을 맞추기 위해 다양한 β 가중치를 적용하며, 수치 실험에선 β=1 및 β=2를 사용한다.
• 예측된 클래스 우선도와 목표 데이터셋의 실제 클래스 우선도를 비교하여 Q-측정 기준 최적화된 분류기의 성능을 평가한다.
• 이를 보완적으로 Ye 등(2012)의 정리에 대한 완전한 증명을 제시하여 이론적 기반을 강화한다.
• 고정된 파라미터 μ=0, ν=2, σ=1, P[A]=p=25%를 사용하여 수치 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 분류기를 정량화 목적으로 특별히 훈련시켰을 때, 후행 조정 없이도 Classify & Count 정량화가 작동할 수 있는가?
• RQ2 후행 조정이 없는 조건에서 Q-측정 기준이 신뢰할 수 있는 정량화 추정치를 도출하는 조건은 무엇인가?
• RQ3 Q-측정 기준에서 β의 선택이 결과 정량기의 캘리브레이션과 성능에 미치는 영향은 어떠한가?
• RQ4 국소 베이즈 최적성으로 정의된 국소 최적 분류기는 다른 정량기보다 우선도 추정 오차를 최소화하는 데 뛰어난가?
• RQ5 정량기 성능이 훈련 데이터셋과 대상 데이터셋의 클래스 우선도 유사도에 얼마나 의존하는가?

주요 결과

• β=2일 때 Q-측정 기준은 국소적으로 최적의 분류기를 식별하며, 이는 훈련 및 대상 우선도가 동일할 경우 완벽한 성능을 달성한다.
• β=1일 경우 Q-측정 기준 최적 분류기는 u>p=0.25에서 최댓값을 보이며, 캘리브레이션과 TPR 간의 트레이드오���이 발생해 비최적의 우선도 추정을 초래한다.
• Q-측정 기준 접근법은 잘못 캘리브레이션된 정량기를 생성할 수 있어, 후행 조정 없이도 Classify & Count의 신뢰성을 떨어뜨린다.
• 후행 조정 없이 Classify & Count는 대상 데이터셋의 진짜 양성 클래스 우선도가 훈련 우선도 25%와 거의 일치할 때에만 잘 작동한다.
• 최소최대(minimax) 분류기는 2.8조언을 통해 식별되며, β=1일 경우 거의 Q-측정 기준 최적 분류기와 유사한 성능을 보이지만 특정 우선도 영역에서만 해당된다.
• 종합적으로 볼 때, 후행 조정 없이 성공적인 정량화가 가능한 경우는 훈련 및 대상 데이터셋의 우선도가 거의 동일한 경우에 국한된다.