[논문 리뷰] Confidence Intervals for the F1 Score: A Comparison of Four Methods

Kevin Fu Yuan Lam, Gopal, Vikneswaran외 1명|arXiv (Cornell University)|2023. 09. 26.

Bayesian Modeling and Causal InferenceComputer Science인용 수 3

한 줄 요약

이 논문은 이진 분류에서 F1 점수에 대한 신뢰구간을 구축하기 위한 두 가지 새로운 분석 방법—Wilson 직접법과 Wilson 간접법—을 제안한다. 특히 NLP 분야에서 적용된다. 이론적 및 실험적 분석을 통해 두 방법이 기존 방법들(Clopper-Pearson 및 Wald)보다 커버리지 확률, 구간 길이, 오버슈트 및 탈진 현상 방지 측면에서 뛰어나다는 것을 입증한다.

ABSTRACT

In Natural Language Processing (NLP), binary classification algorithms are often evaluated using the F1 score. Because the sample F1 score is an estimate of the population F1 score, it is not sufficient to report the sample F1 score without an indication of how accurate it is. Confidence intervals are an indication of how accurate the sample F1 score is. However, most studies either do not report them or report them using methods that demonstrate poor statistical properties. In the present study, I review current analytical methods (i.e., Clopper-Pearson method and Wald method) to construct confidence intervals for the population F1 score, propose two new analytical methods (i.e., Wilson direct method and Wilson indirect method) to do so, and compare these methods based on their coverage probabilities and interval lengths, as well as whether these methods suffer from overshoot and degeneracy. Theoretical results demonstrate that both proposed methods do not suffer from overshoot and degeneracy. Experimental results suggest that both proposed methods perform better, as compared to current methods, in terms of coverage probabilities and interval lengths. I illustrate both current and proposed methods on two suggestion mining tasks. I discuss the practical implications of these results, and suggest areas for future research.

연구 동기 및 목표

• NLP 평가에서 자주 보고되지만 불확실성 추정이 수반되지 않는 F1 점수에 대한 신뢰구간이 부족한 문제를 해결하기 위해.
• 기존 방법의 한계—특히 낮은 커버리지 확률, 지나친 구간 길이, 오버슈트 및 탈진 현상과 같은 문제—를 규명하기 위해.
• Wilson 점수 구간 프레임워크를 기반으로 한 F1 점수에 대한 두 가지 새로운 분석 방법을 개발하기 위해.
• 이론적 및 실험적 기준을 사용하여 제안된 방법과 기존 방법의 성능을 비교하기 위해.
• 이진 분류 작업에서 F1 점수에 대한 적절한 신뢰구간 방법을 선택하는 데 연구자들에게 실용적 지침을 제공하기 위해.

제안 방법

• 정밀도와 재현율을 이항 비율로 모델링하여 Wilson 점수 구간 방법을 F1 점수에 적용한다.
• F1 점수를 두 개의 상관된 이항 비율의 함수로 간주하고, 정밀도와 재현율의 조화평균에 Wilson 구간을 적용하여 Wilson 직접법을 유도한다.
• 정밀도와 재현율 각각에 대해 별도로 Wilson 방법을 사용해 신뢰구간을 구축한 후, 그 경계값에서 F1 점수를 계산함으로써 Wilson 간접법을 개발한다.
• 양쪽 제안된 방법의 핵심 기능 관계로 조화평균 공식 F1 = 2 * (정밀도 * 재현율) / (정밀도 + 재현율) 을 사용한다.
• 커버리지 확률, 구간 길이, 탈진 및 오버슈트 방지 등의 성질을 평가하기 위해 이론적 유도를 적용한다.
• 모의 실험과 실제 제안 추출 데이터셋을 사용하여 다양한 표본 크기와 클래스 분포에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 기존의 신뢰구간 방법(Clopper-Pearson 및 Wald)의 커버리지 확률이 제안된 방법의 것과 비교하여 어떻게 되는가?
• RQ2 제안된 Wilson 직접법과 간접법은 전통적 방법에 비해 구간 길이의 과다 팽창을 덜 겪는가?
• RQ3 제안된 방법은 기존 방법이 앓는 오버슈트 및 탈진 문제에서 자유롭게 되어 있는가?
• RQ4 제안된 방법은 제안 추출 작업과 같은 실제 NLP 응용 분야에서 어떻게 성능을 발휘하는가?
• RQ5 다양한 신뢰구간 방법을 사용할 경우 모델 평가에서 F1 점수 결과를 해석하는 데 어떤 함의가 있는가?

주요 결과

• Wilson 직접법과 간접법은 Clopper-Pearson 및 Wald 방법과 달리 오버슈트 또는 탈진 현상에 영향을 받지 않는다.
• 두 제안된 방법 모두 다양한 표본 크기와 클래스 분포에서 더 높고 안정된 커버리지 확률을 달성한다.
• 특히 낮은 표본 크기 영역에서 Wilson 직접법이 Wald 및 Clopper-Pearson 방법보다 더 짧은 신뢰구간을 생성한다.
• Wilson 간접법은 강력한 커버리지 성질을 지니며 극단적인 정밀도 및 재현율 값에 덜 민감하여 견고한 대안이 된다.
• 두 제안 추출 작업에 대한 실증 결과는 제안된 방법이 기존 방법보다 더 신뢰할 수 있는 불확실성 추정을 제공한다는 것을 확인한다.
• 이론적 분석을 통해 정밀도와 재현율이 높게 상관되어 있을 때에도 제안된 방법이 적절한 통계적 성질을 유지함을 확인한다.