[論文レビュー] Measuring Social Biases of Crowd Workers using Counterfactual Queries

Bhavya Ghai, Q. Vera Liao+2 more|arXiv (Cornell University)|Apr 4, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 5被引用数 8

ひとこと要約

本稿では、対照的クエリを用いてクラウドワーカーの社会的バイアスを測定する新しい手法を提案する。各ワーカーのクエリとその文化的・人口統計的対照的（例：性別や人種の変更）に対するラベルを比較し、バイアススコアを算出する。このアプローチにより、自己報告や真のラベルに依存せずに、バイアスのあるアノテーターを特定・低重み化することで、偏りのないデータセットのキュレートが可能となり、従来のバイアス測定手法とは異なり、コスト効率が良く、目に見えない代替手法を提供する。

ABSTRACT

Social biases based on gender, race, etc. have been shown to pollute machine learning (ML) pipeline predominantly via biased training datasets. Crowdsourcing, a popular cost-effective measure to gather labeled training datasets, is not immune to the inherent social biases of crowd workers. To ensure such social biases aren't passed onto the curated datasets, it's important to know how biased each crowd worker is. In this work, we propose a new method based on counterfactual fairness to quantify the degree of inherent social bias in each crowd worker. This extra information can be leveraged together with individual worker responses to curate a less biased dataset.

研究の動機と目的

• 機械学習モデルにおける不平等を助長する可能性がある、クラウドソーシングによるトレーニングデータセットにおける社会的バイアスという重要な問題に対処すること。
• 自己報告のアンケートやゴールドスタンダードラベルに依存せずに、個々のクラウドワーカーに内在する社会的バイアス（例：性別、人種）を定量化する手法を開発すること。
• 既存のクラウドソーシングワークフローにスムーズに統合可能な、スケーラブルで、目に見えない、コスト効率の良い技術を構築すること。
• ワーカー固有のバイアススコアを活用することで、より公平なラベル集約を可能にし、データキュレーティングを改善すること。
• 真のラベルが得られず、または実用的でない主観的ラベリングタスクにおいて特に有効なソリューションを提供すること。

提案手法

• 対照的クエリは、感応性の高い属性（例：性別や人種）のみを変更し、他のすべての特徴を一定に保つことで生成される。
• 各ワーカーのバイアススコアは、n組のクエリ-対照的クエリペアに対して、元のクエリとその対照的クエリに対するラベルの平均絶対差として計算される。
• 対照的クエリは、数値特徴へのノイズ注入、ダミー属性の変更（例：名前や姓の変更）、テキストの言い換えによって隠蔽され、記憶に基づく認識を防ぐ。
• このアプローチはワーカーに感知されにくく設計されており、明示的な評価文脈を避けることで、社会的望ましさバイアスを低減する。
• この手法はデータキュレーティングの段階で適用され、バイアススコアがラベル集約に反映される（例：極端にバイアスの強いワーカーの低重み化や除外）。
• 真のラベルが存在しない主観的タスク（例：毒性評価）において特に適しており、従来の公平性指標が適用できない状況で有効である。

実験結果

リサーチクエスチョン

• RQ1 自己報告やゴールドスタンダードラベルに依存せずに、クラウドワーカーの社会的バイアスをどのように客観的に測定できるか？
• RQ2 対照的ベースのバイアススコアは、従来の公平性指標や自己報告バイアスとどの程度相関するか？
• RQ3 この手法は、主観的ラベリングタスクにおける人種的・性別のバイアス（例：人種的・性別的バイアス）を効果的に検出・定量化できるか？
• RQ4 対照的クエリの隠蔽処理が、ワーカーが自分がバイアス評価を受けていることに気づかないようにする仕組みは何か？
• RQ5 ワーカーのバイアススコアが、下流のデータセットにおけるラベル集約の公平性に与える影響は何か？

主な発見

• 提案手法は、元のクエリと対照的クエリに対するラベルの平均絶対差を用いて、ワーカー固有のバイアススコアを計算し、0が完全な公平性を示す。
• 対照的クエリがノイズ、ダミー特徴、言い換えによって隠蔽されているため、記憶効果に対する耐性が高く、認識を防げる。
• 真のラベルやゴールドクエスチョンが不要であるため、コスト効率が良く、客観的基準が欠如する主観的タスクにも適用可能である。
• バイアススコアをラベル集約に統合することで、元のラベリングワークフローを変更せずに、バイアスの少ないデータセットのキュレーティングが可能になる。
• 自己報告アンケートとは異なり、ワーカーが評価を受けていることを認識していないため、社会的望ましさバイアスを回避できる。
• この手法は、モデル学習の前段階であるデータキュレーティング段階で、バイアスの評価と緩和をスケーラブルで自動的かつ透明に実現する方法を提供する。