[論文レビュー] Designing Evaluations of Machine Learning Models for Subjective Inference: The Case of Sentence Toxicity

Agathe Balayn, Alessandro Bozzon|arXiv (Cornell University)|Nov 6, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 32被引用数 5

ひとこと要約

本論文は、文の毒性を事例として、主観的推論タスクにおける機械学習モデルの評価ベンチマークを設計するための仕様フレームワークを提案する。従来の過半数投票集約手法が主観性を歪めることを示し、CrowdTruth分析により、ラベル品質と曖昧さがラーティングスキームによって顕著に異なることが明らかになった。特に、2値分類（有毒／非有毒）を採用するセットアップ1が最も信頼性の高い結果を示した（MSE: 0.0103、AUROC: 0.9452）。

ABSTRACT

Machine Learning (ML) is increasingly applied in real-life scenarios, raising concerns about bias in automatic decision making. We focus on bias as a notion of opinion exclusion, that stems from the direct application of traditional ML pipelines to infer subjective properties. We argue that such ML systems should be evaluated with subjectivity and bias in mind. Considering the lack of evaluation standards yet to create evaluation benchmarks, we propose an initial list of specifications to define prior to creating evaluation datasets, in order to later accurately evaluate the biases. With the example of a sentence toxicity inference system, we illustrate how the specifications support the analysis of biases related to subjectivity. We highlight difficulties in instantiating these specifications and list future work for the crowdsourcing community to help the creation of appropriate evaluation datasets.

研究の動機と目的

• 主観的機械学習タスク、特に人的判断とバイアスを含む分野における標準化された評価ベンチマークの欠如に取り組むこと。
• 主観性を無視する従来のMLパイプラインが、マイノリティの意見を除外することでバイアスを組み込み・拡大する可能性を浮き彫りにすること。
• 主観性を考慮し、モデル評価におけるバイアスを低減するための評価データセット設計のための仕様セットを提案すること。
• 最先端のクラウドソーシング手法が主観的評価の要件を満たせるか、あるいは新たな研究を必要とするかを調査すること。
• 実証的分析を通じて、ラベル集約手法が評価指標の信頼性に顕著に影響することを示すこと。

提案手法

• 主観性とバイアスに焦点を当て、主観的推論のための評価データセット設計を支援する形式化された仕様リストを提案する。
• CrowdTruthフレームワークを用いて、4つの異なるラーティングスキームにおいて、作業者品質（WQS）、ラベルの曖昧さ（UQS）、および合意の不一致（ADR）を分析する。
• 高品質・低品質の作業者および曖昧な文の手動評価を実施し、CrowdTruthが正しいラベルと曖昧さを的確に同定できるかを検証する。
• 手動評価スコアとCrowdTruthのWQSとの間の平均二乗誤差（MSE）を計算し、ラベルの正しさ予測の精度を評価する。
• 受信者操作特性曲線下積分（AUROC）を計算し、ラベル不一致に基づいて曇々した文を検出する能力を評価する。
• ラベルの細分化や毒性カテゴリの数に差がある4つのラーティングスキーム（セットアップ1～4）を比較し、ラベル品質と曖昧さに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるラーティングスキームは、主観的タスクにおけるラベル品質および曖昧さの評価の信頼性にどのように影響するか？
• RQ2 過半数投票集約手法は、個人の主観性をどれほど隠蔽し、モデル評価を歪めるか？
• RQ3 CrowdTruthフレームワークは、主観的ラーティングタスクにおいて、高品質・低品質の作業者および曇々した文を的確に同定できるか？
• RQ4 実務において、主観的MLモデルの評価仕様を実装するにあたり、主な課題は何か？
• RQ5 クラウドソーシング手法は、どのように改善されれば、主観性をよりよく反映し、評価データセットにおけるバイアスを低減できるか？

主な発見

• 2値分類（有毒対非有毒）を採用するセットアップ1が、最小のMSE（0.0103）と最大のAUROC（0.9452）を達成し、手動評価スコアとの整合性が最も高かった。
• より細分化されたカテゴリ（例：「ニュートラル」や複数の毒性レベルを含む）を採用したラーティングスキームでは、MSEが最大0.3133に上昇し、AUROCが最小0.4792に低下し、信頼性が低下した。
• CrowdTruthは、97.67％の作業者を信頼できるものとして特定（2.33％は低WQSのため除外）、低品質作業者は主にスパム投稿者であった。
• 全作業者のうち10.5％しか過半数票に一貫して同意せず、51％が約15％の割合で過半数票と一致しなかった。これは、過半数投票が個人の意見の大多数を表していないことを示している。
• 4.5％の作業者が、過半数票と20％以上異なる結果を出した。これは、有効な主観性が広く存在し、過半数投票集約では捉えきれないことを示している。
• 低品質作業者を除外しても、不一致の分布（ADR）は安定していた。これは、CrowdTruthが真正の主観性を的確に検出できることを確認するものである。