[논문 리뷰] Thresholding Classifiers to Maximize F1 Score

Zachary C. Lipton, Charles Elkan외 1명|arXiv (Cornell University)|2014. 02. 08.

Text and Document Classification Technologies참고 문헌 10인용 수 97

한 줄 요약

이 논문은 이진 및 다중 레이블 분류기의 최적 결정 임계값을 도출하여 F1 점수를 최대화하며, 정보가 없는 분류기의 경우 모든 인스턴스를 양성으로 예측할 때 기대 F1 점수가 최대가 된다고 보여준다. 이는 매크로 평균 F1이 정보가 없는 예측일지라도 희귀 레이블의 과다 예측을 유도할 수 있음을 시사하며, 기저 빈도가 낮은 설정에서 직관에 어긋나는 행동을 유발할 수 있음을 밝힌다.

ABSTRACT

This paper provides new insight into maximizing F1 scores in the context of binary classification and also in the context of multilabel classification. The harmonic mean of precision and recall, F1 score is widely used to measure the success of a binary classifier when one class is rare. Micro average, macro average, and per instance average F1 scores are used in multilabel classification. For any classifier that produces a real-valued output, we derive the relationship between the best achievable F1 score and the decision-making threshold that achieves this optimum. As a special case, if the classifier outputs are well-calibrated conditional probabilities, then the optimal threshold is half the optimal F1 score. As another special case, if the classifier is completely uninformative, then the optimal behavior is to classify all examples as positive. Since the actual prevalence of positive examples typically is low, this behavior can be considered undesirable. As a case study, we discuss the results, which can be surprising, of applying this procedure when predicting 26,853 labels for Medline documents.

연구 동기 및 목표

• 이진 및 다중 레이블 설정에서 분류기 출력을 최적의 임계값으로 설정하여 F1 점수를 최대화하는 방법을 이해하는 것.
• 다중 레이블 분류에서 다양한 평균 방식(마이크로, 매크로, 인스턴스별)에 따른 F1 최대화의 행동을 분석하는 것.
• F1의 비대칭성과 비선형성의 영향이, 특히 분류기 출력이 정보가 없거나 캘리브레이션된 경우에 임계값 선택에 어떻게 작용하는지 조사하는 것.
• 기저 빈도가 낮을 경우, 최적의 F1 임계값 설정이 직관에 어긋나는 예측(예: 모든 예측을 양성으로 설정)을 초래할 수 있음을 보여주는 것.
• 매크로 평균 F1이 정보가 없는 레이블에 대해 과다 예측을 유도할 수 있는 위험을 부각하는 것.

제안 방법

• 모든 실수값 분류기 출력에 대해 최적의 F1 점수와 결정 임계값 사이의 이론적 관계를 유도한다.
• 잘 캘리브레이션된 확률적 분류기의 경우 최적의 임계값이 정확히 최적 F1 점수의 반임을 증명한다.
• 정보가 없는 분류기 상황에서 F1 최대화의 행동을 분석하여, 모든 양성으로 예측할 경우 기대 F1 점수가 최대가 됨을 보여준다.
• 집중 불등식과 샌프의 정리를 사용하여 경험적 임계값 선택 과정에서 최적 이외의 임계값이 선택될 확률을 한정한다.
• 기저 빈도와 표본 크기가 다양한 시뮬레이션 데이터를 사용해 임계값 선택을 실증적으로 평가하며, 예측된 양성 비율의 분포를 분석하기 위해 10,000회의 시뮬레이션을 수행한다.
• 실제 사례 연구에 이 프레임워크를 적용: 메드라인 문서의 26,853개 MeSH 레이블을 예측하는 데서, 희귀 레이블은 기저 빈도가 낮고 특징 손실이 과다 예측을 유도할 수 있다.

실험 결과

연구 질문

• RQ1 주어진 분류기 출력 분포에 대해 F1 점수를 최대화하는 데 최적의 결정 임계값은 무엇인가?
• RQ2 분류기가 정보가 없을 경우, 최적의 임계값은 기저 빈도에 어떻게 의존하는가?
• RQ3 분류기가 특정 레이블에 대해 정보가 없을 경우 매크로 평균 F1이 왜 희귀 레이블의 과다 예측을 유도하는가?
• RQ4 F1 점수의 비선형성과 비대칭성이 임계값 선택과 예측 행동에 어떻게 영향을 미치는가?
• RQ5 동일한 분류기 확률 세트가 F1 평균화 방법에 따라 크게 다른 최적 예측을 초래할 수 있는가?

주요 결과

• 정보가 없는 분류기의 경우, 기저 빈도에 관계없이 모든 예측을 양성으로 설정하는 것이 기대 F1 점수를 최대화하는 데 최적의 임계값이다.
• 분류기 출력이 잘 캘리브레이션된 확률일 경우, 최적의 임계값은 정확히 최적 F1 점수의 반이다.
• 최적의 F1 임계값은 예측 확률의 분포뿐만 아니라, 배치 내 모든 예제의 확률 분포에 의존한다.
• 기저 빈도가 낮은 희귀 레이블의 경우, 조건이 완벽하게 캘리브레이션된 모델이라도 최적의 임계값 설정 시 F1 점수가 0에 가까워질 수 있으며, 반면 공통 레이블은 항상 높은 점수를 기록한다.
• 매크로 평균 F1에서는 희귀 레이블의 성능이 비례적으로 더 가중되므로, 분류기가 해당 레이블에 대해 정보가 없을 경우 과다 예측이 발생할 수 있다.
• 대규모 데이터셋에서의 경험적 임계값 선택은 여전히 진정한 최적의 임계값을 식별하지 못할 수 있으며, 특히 기저 빈도가 낮고 표본 크기가 부족할 경우 F1의 급격한 임계값 행동로 인해 실패할 수 있다.