[논문 리뷰] Rater Equivalence: Evaluating Classifiers in Human Judgment Settings

Paul Resnick, Yuqing Kong외 2명|arXiv (Cornell University)|2021. 06. 02.

Spam and Phishing Detection참고 문헌 14인용 수 5

한 줄 요약

이 논문은 주관적 또는 노이즈가 있는 인간 평가 환경에서 분류기 성능을 평가하기 위해 설문 등가성(survey equivalence)을 도입한다. 이는 분류기의 정확도를 보조적인 인간 설문의 정확도와 비교함으로써 성능을 평가하는 방법이다. 설문 등가성은 보류된 평가자와의 성능을 동일하게 맞추기 위해 필요한 최소한의 평가자 수로 정의되며, 인간 간의 불일치 변동성에서 분류기의 품질을 분리하여 해석 가능한 정규화된 지표를 제공한다.

ABSTRACT

In many decision settings, the definitive ground truth is either non-existent or inaccessible. We introduce a framework for evaluating classifiers based solely on human judgments. In such cases, it is helpful to compare automated classifiers to human judgment. We quantify a classifier's performance by its rater equivalence: the smallest number of human raters whose combined judgment matches the classifier's performance. Our framework uses human-generated labels both to construct benchmark panels and to evaluate performance. We distinguish between two models of utility: one based on agreement with the assumed but inaccessible ground truth, and one based on matching individual human judgments. Using case studies and formal analysis, we demonstrate how this framework can inform the evaluation and deployment of AI systems in practice.

연구 동기 및 목표

• 인간 평가자가 의견을 다를 때 표준 정확도 지표의 한계를 해결하기 위해.
• 인간 레이블링의 본질적 변동성에서 분류기 성능을 분리하는 지표를 개발하기 위해.
• 분류기 평가를 인간 공감에 비례한 기준으로 제공하기 위해.
• 다양한 수준의 인간 평가자 일치도를 가진 데이터셋 간의 분류기 간 공정한 비교를 가능하게 하기 위해.
• 분류기 성능을 등가 인간 설문 규모로 해석하는 절차를 체계화하기 위해.

제안 방법

• 이 방법은 분류기의 예측 정확도를 보류된 인간 평가자의 레이블과 비교하여 평가한다.
• 사용 가능한 K개의 인간 레이블에서 k명의 평가자를 무작위로 샘플링하여 다양한 크기(k명의 평가자)의 설문을 시뮬레이션한다.
• 각 k에 대해, k명의 평가자로 구성된 설문의 기대 정확도는 k명의 평가자를 무작위로 다수의 샘플로 선택하여 평균을 구함으로써 계산된다.
• 설문의 능력 곡선은 기대 정확도를 k에 대해 플로팅하여, 평가자 수가 늘어날수록 정확도가 어떻게 향상되는지를 보여준다.
• 설문 등가성은 k명의 평가자 설문이 분류기의 기대 정확도와 동일한 성능을 달성하는 최소한의 k로 정의된다.
• 분수 값은 랜덤 샘플링을 통해 해석된다. 예를 들어 4.77은 77%의 항목에서 5명의 평가자를, 23%의 항목에서 4명의 평가자를 사용함을 의미한다.

실험 결과

연구 질문

• RQ1 인간 평가자가 레이블에 대해 의견을 다를 때, 어떻게 분류기 성능을 의미 있게 평가할 수 있는가?
• RQ2 어떤 지표가 인간 평가자 일치 수준에서 분류기 품질을 분리할 수 있는가?
• RQ3 다른 수준의 인간 레이블링 노이즈나 주관성으로 인해 다를 수 있는 데이터셋 간에 분류기 성능을 어떻게 의미 있게 비교할 수 있는가?
• RQ4 어느 정도의 인간 평가자 수가 분류기의 예측 정확도를 동일하게 만족하는가?
• RQ5 분류기 성능을 특정 크기의 인간 설문과 동일한 것으로 의미 있게 해석할 수 있는가?

주요 결과

• 설문 등가성은 인간 공감과의 비교에서 얼마나 잘 성능을 내는지를 반영하는 정규화되고 해석 가능한 지표를 제공한다.
• 이 방법은 높은 설문 등가성을 가진 분류기가, 높은 수준의 인간 평가자 불일치가 있더라도 더 작은 인간 설문보다 더 정확하다는 점을 보장한다.
• 큰 표본 근처에서 설문 등가성은 기준 레이블의 선택(다数 투표 대비 진짜 레이블)에 대해 불변이다.
• 설문의 능력 곡선은 k명의 평가자 설문의 기대 정확도를 플로팅한 것으로, 이는 분류기의 성능과 동일한 점수를 달성하는 최소한의 k를 계산하는 데 사용된다.
• 분수 형태의 설문 등가성 값(예: 4.77)은 랜덤 샘플링 전략을 통해 해석 가능하며, 실용적 구현을 가능하게 한다.
• 이 방법은 다양한 스코링 함수(DMI, AUC, 정밀도 등)에 대해 강건하며, 시간 복잡도 O(K^|L||I||L|)로 최적화된 알고리즘을 사용해 효율적으로 계산할 수 있다.