[論文レビュー] Rater Equivalence: Evaluating Classifiers in Human Judgment Settings

Paul Resnick, Yuqing Kong+2 more|arXiv (Cornell University)|Jun 2, 2021

Spam and Phishing Detection参考文献 14被引用数 5

ひとこと要約

この論文は、主観的またはノイズの多い人間の判断設定における分類器の性能を評価するための方法として、調査同等性（survey equivalence）を導入している。これは、分類器の正答率を仮想のヒューマンサーベイ（人間の調査）の正答率と比較することで、人間の不一致の分散から分類器の品質を分離する解釈可能な正規化指標を提供する。

ABSTRACT

In many decision settings, the definitive ground truth is either non-existent or inaccessible. We introduce a framework for evaluating classifiers based solely on human judgments. In such cases, it is helpful to compare automated classifiers to human judgment. We quantify a classifier's performance by its rater equivalence: the smallest number of human raters whose combined judgment matches the classifier's performance. Our framework uses human-generated labels both to construct benchmark panels and to evaluate performance. We distinguish between two models of utility: one based on agreement with the assumed but inaccessible ground truth, and one based on matching individual human judgments. Using case studies and formal analysis, we demonstrate how this framework can inform the evaluation and deployment of AI systems in practice.

研究の動機と目的

• 人間のラベラーがラベルについて合意しない主観的分類タスクにおいて、標準的な正答率指標の限界を解消すること。
• 人間ラベリングの固有のばらつきから分類器の性能を分離する指標を開発すること。
• 人間のコンセンサスと比較して、分類器の性能がどの程度良いかを反映するベンチマークを提供すること。
• 人間ラベラーの合意度が異なるデータセット間で、分類器を公平に比較可能にするための手段を提供すること。
• 分類器の性能を、同等の人数のヒューマンサーベイサイズとして解釈する手続きを形式化すること。

提案手法

• この手法は、分類器の予測正答率を保持された人間ラベラーのラベルと比較することで評価する。
• K通のヒューマンレーティングから、各アイテムに対してk人のラベラーをランダムに抽出することで、さまざまなサイズ（k人）の調査をシミュレートする。
• 各kについて、k人のラベラーのランダムサンプルを複数回繰り返し、その平均を取ることで、k人のラベラーによる調査の期待正答率を計算する。
• 調査パワー曲線は、kを横軸に、期待正答率を縦軸にプロットすることで作成され、ラベラー数の増加に伴う正答率の向上を示す。
• 調査同等性は、k人のラベラーによる調査が分類器と同等の期待正答率を達成する最小のkとして定義される。
• 小数値は確率的サンプリングにより解釈される：例えば4.77は、77%のアイテムで5人のラベラー、23%のアイテムで4人のラベラーを用いることを意味する。

実験結果

リサーチクエスチョン

• RQ1 人間のラベラーがラベルについて合意しない状況で、分類器の性能をどのように意味的に評価できるか？
• RQ2 人間ラベラーの合意度に依存しない分類器の品質を分離する指標とは何か？
• RQ3 人間ラベリングのノイズや主観性の程度が異なるデータセット間で、分類器の性能をどのように意味的に比較できるか？
• RQ4 分類器の予測正答率と同等の集団的判断を達成する最小のヒューマンラベラー数は何か？
• RQ5 分類器の性能を、あるサイズのヒューマンサーベイと同等と解釈することは意味的であるか？

主な発見

• 調査同等性は、人間のコンセンサスと比較して分類器の性能がどの程度良いかを反映する正規化可能で解釈可能な指標を提供する。
• この手法により、調査同等性がより高い分類器は、人間ラベラーの不一致の程度にかかわらず、より小さな人間調査よりも正確であることが保証される。
• 大標本の極限において、調査同等性は基準ラベルの選択（多数決投票 vs. グラウンド・トリゥース）に不変である。
• 調査パワー曲線（k人のラベラーによる調査の期待正答率をkの関数としてプロットしたもの）は、分類器の正答率と同等のスコアを達成する最小のk（＝調査同等性）を計算するために用いられる。
• 小数値の調査同等性（例：4.77）は、確率的サンプリング戦略により解釈可能であり、実用的導入を可能にする。
• このアプローチは、さまざまなスコア関数（例：DMI、AUC、精度）に対してロバストであり、時間計算量O(K^|L||I||L|)の最適化アルゴリズムを用いることで、効率的に計算可能である。