[論文レビュー] Cross-replication Reliability -- An Empirical Approach to Interpreting Inter-rater Reliability

Ka Sing Wong, Praveen Paritosh+1 more|arXiv (Cornell University)|Jun 11, 2021

Reliability and Agreement in Measurement参考文献 41被引用数 5

ひとこと要約

本稿では、Landis-Kochの0.6のような伝統的な評価者間信頼性（IRR）閾値とは対照的に、実証的で文脈に敏感な代替手法として、クロスリプロダクション信頼性（xRR）フレームワークを提案する。IRRを二つのベースライン—リプロダクション内でのアノテーター信頼性および新規のクロスリプロダクション一致（新規のクロスクappa：$κ_x$）—と比較することで、主観的・不均衡的・多様なアノテーターを含む状況において、クラウドソーシングデータ品質のより現実的な評価を可能にする。主な貢献は、リプロダクション間の一貫性を評価する正規化済み$κ_x$メトリクスであり、400万件の判断を含む顔の表情データセットで検証済み。

ABSTRACT

We present a new approach to interpreting IRR that is empirical and contextualized. It is based upon benchmarking IRR against baseline measures in a replication, one of which is a novel cross-replication reliability (xRR) measure based on Cohen's kappa. We call this approach the xRR framework. We opensource a replication dataset of 4 million human judgements of facial expressions and analyze it with the proposed framework. We argue this framework can be used to measure the quality of crowdsourced datasets.

研究の動機と目的

• 現代のクラウドソーシングデータにおいて、主観的・不均衡的・多様なアノテーターを含むタスクに対して、絶対的IRR閾値（例：Landis-Kochの0.6）の限界を是正すること。
• 現実のデータ収集の変化を反映する文脈に敏感な、伝統的なIRR解釈の代替となる実証的代替手法を提案すること。
• リプロダクション間の一致をチャンス補正された形で測定する新しいメトリクス、クロスクappa（$\\kappa_x$）の開発と検証すること。
• 3か所の世界的な都市（メキシコシティ、ブダペスト、クアラルンプール）で収集された400万件の顔の表情判断を含む大規模オープンソースリプロダクションデータセットを通じて、フレームワークの実用性を示すこと。
• IRRの継続的使用を促進するため、データ品質評価に原則的かつ柔軟なフレームワークを提供すること。

提案手法

• xRRフレームワークはリプロダクション設計を用いる：アノテーター集団やガイドラインにわずかな変更を加えながら、同じアイテムを再アノテーションする。
• クロスクappa（$\\kappa_x$）を導入する。これはCohen（1960）のカッパに基づくが、リプロダクション間比較に適応されたチャンス補正済み一致測定値である。
• 観測された$\kappa_x$をランダムラベル付け下での期待一致と比較することで、正規化された$\kappa_x$を計算し、信頼性の相対的評価を可能にする。
• フレームワークは、リプロダクション内信頼性とクロスリプロダクション一致（$\kappa_x$）という二つのベースラインと比較することで、文脈に敏感な評価を保証する。
• 3か所の世界的な都市（メキシコシティ、ブダペスト、クアラルンプール）から収集された400万件の顔の表情に関する人間の判断からなる大規模オープンソースデータセットを用いて、手法を検証する。
• 真のラベルに依存しないため、『正しい』答えが曖昧または存在しない主観的タスクに適している。

実験結果

リサーチクエスチョン

• RQ1 高頻度のアノテーター多様性とタスクの主観性を示す現代のクラウドソーシングデータセットにおいて、評価者間信頼性（IRR）をどのように意味的に解釈できるか？
• RQ2 xRRフレームワークは、絶対的閾値（例：0.6）と比較して、IRRの解釈性をどの程度向上させるか？
• RQ3 クロスクappa（$\kappa_x$）は、真のデータ品質を反映する形で、リプロダクション間の一致を効果的に測定できるか？
• RQ4 正規化済み$\kappa_x$メトリクスは、データ収集リプロダクション間の不一致を検出するのにどの程度有効か？
• RQ5 周波数マッチングが不十分な場合に、xRRフレームワークはデータセット拡張の品質を評価するために使用可能か？

主な発見

• xRRフレームワークは、恣意的な閾値ではなく、リプロダクションベースのベースラインを用いることで、IRRのより現実的で文脈に敏感な解釈を可能にする。
• 正規化済み$\kappa_x$値が1に近いことは、クラウドソーシングアノテーターが信頼できるアノテーターの行動を一貫して再現していることを示し、高いデータ品質を示唆する。
• フレームワークは、クラスの不均衡下でインflatedしやすく、チャンス補正が欠如する精度ベースのメトリクスの限界を効果的に是正する。
• IRepデータセットにおいて、クロスリプロダクション一致（$\kappa_x$）は、従来のIRR閾値よりもデータ品質のより信頼できる指標であることが判明した。
• この手法により、新規データを追加する際の継続性と一貫性に対する信頼性を保証する、一貫したデータセット拡張の評価が可能になった。
• 著者らは、従来のIRR値が低いか曖昧であっても、xRRフレームワークを用いることで、データ収集の不整合を検出可能であることを実証した。