[논문 리뷰] A plug-in approach to maximising precision at the top and recall at the top

Dirk Tasche|arXiv (Cornell University)|2018. 04. 09.

Machine Learning and Algorithms참고 문헌 12인용 수 5

한 줄 요약

이 논문은 이진 분류 및 정보 검색에서 정밀도@k와 재현율@k를 최적화하기 위해 양성 클래스의 사후 확률을 임계값 처리하는 것이 이론적으로 최적임을 입증한다. 이 방법은 비용 감수성 분류를 일반화하며, 비연속 분포 및 예측된 양성 비율에 대한 다양한 제약 조건이 존재하는 상황에서도 플러그인 솔루션을 제공한다.

ABSTRACT

For information retrieval and binary classification, we show that precision at the top (or precision at k) and recall at the top (or recall at k) are maximised by thresholding the posterior probability of the positive class. This finding is a consequence of a result on constrained minimisation of the cost-sensitive expected classification error which generalises an earlier related result from the literature.

연구 동기 및 목표

• 정밀도@k와 재현율@k를 최대화하기 위한 이론적으로 최적의 플러그인 분류기를 이진 분류 및 정보 검색에서 확립하기.
• 이전의 비용 감수성 오차의 제약 조건 하에서의 최소화 결과를 일반화하여 임의의 음이 아닌 비용 가중치와 예측된 양성 비율에 대한 더 넓은 제약 조건을 포함하기.
• 사후 확률 분포가 비연속일 경우에도 양성 클래스의 사후 확률을 임계값 처리하면 이러한 성능 기준 하에서 최적의 분류기가 도출됨을 보여주기.
• 예를 들어 등분산을 가진 이항모형에서 정확한 최적 해가 분석적으로 알려진 설정에서 새로운 최적화 알고리즘 평가를 위한 실용적 기준 제공하기.

제안 방법

• 예측된 양성 비율에 대한 제약 조건 하에서 비용 감수성 기대 분류 오차에 대한 제약 최소화 문제를 수립한다.
• 최적의 분류기가 특정 분위수에서 양성 클래스의 사후 확률을 임계값 처리하는 랜덤화된 결정 분류기(RDC)임을 증명한다.
• Clémençon과 Vayatis(2007)의 결과를 일반화하여 임의의 음이 아닌 비용 가중치 (a, b)를 허용하며, a + b > 0 이다.
• 사후 확률 분포가 비연속일 경우에도 이를 고려하여 다양한 데이터 유형에 대해 강건한 결과를 도출한다.
• 분석적 표현을 도출하기 위해 등분산을 가진 이항모형을 구체적인 예로 사용하여, 분위수 추정을 통한 최적의 임계값 q를 유도한다.
• 확률 P[P(A|H) > q] = 1 - α 를 만족시키는 임계값 q를 구하는 것이 해결 과정이다. 여기서 α 는 원하는 양성 비율이다.

실험 결과

연구 질문

• RQ1 이진 분류에서 양성 클래스의 사후 확률을 특정 분위수에서 임계값 처리하는 것이 정밀도@k와 재현율@k를 최적화하는 데 효과적인가?
• RQ2 정밀도@k와 재현율@k를 최적화하기 위한 최적의 분류기는 비용 감수성 분류 및 네이만-피어슨 정리와 어떻게 관련이 있는가?
• RQ3 사후 확률 분포가 비연속일 경우 최적의 분류기의 수학적 형태는 무엇인가?
• RQ4 특히 등분산을 가진 이항모형에서 최적의 임계값은 어떻게 실질적으로 계산할 수 있는가?
• RQ5 이 플러그인 접근법은 정밀도 및 재현율@k 최적화 문제에서 다른 학습 알고리즘 평가를 위한 기준이 될 수 있는가?

주요 결과

• 양성 클래스의 사후 확률을 특정 분위수에서 임계값 처리하면 정밀도@k와 재현율@k를 동시에 최적화하는 플러그인 분류기가 도출된다.
• 최적의 분류기는 비용 감수성 베이즈 분류기를 제약 조건이 있는 성능 기준으로 일반화한 랜덤화된 결정 분류기(RDC)이다.
• 사후 확률 분포가 비연속일 경우에도 이 결과는 성립하며, 이는 이전 연구에서 연속적인 경우에 국한된 결과를 확장한 것이다.
• 등분산을 가진 이항모형에서는 최적의 임계값 q가 표준 정규 누적분포함수와 모델 파라미터를 포함하는 분위수 방정식을 풀어 도출된다.
• 해결책 q 는 P[P(A|H) > q] = 1 - α 를 만족하며, 여기서 α 는 원하는 양성 비율이며, q 는 모델 파라미터에 의해 유일하게 결정된다.
• 이 방법은 정밀도 및 재현율@k 설정에서 새로운 최적화 알고리즘 평가를 위한 폐쇄형 기준을 제공한다.