[論文レビュー] Exploring Stereotypes and Biased Data with the Crowd

Zeyuan Hu, Julia Strout|arXiv (Cornell University)|Jan 10, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用数 3

ひとこと要約

本論文は、機械学習の訓練データに隠れたステレオタイプやバイアスを特定するため、アマゾン・メカニカル・トゥルースを介したクラウドソーシングの活用を提案している。特に性別を超えて人種や階級に関するバイアスを含む。データ品質や作業者の曖昧さといった課題があるものの、クラウドは多様で明白でないステレオタイプを特定した。一方で、多くの回答は重複していたり低品質であった。これは、データ収集ワークフローにおける前もってのバイアス検出のわずかだが価値ある可能性を示している。

ABSTRACT

The goal of our research is to contribute information about how useful the crowd is at anticipating stereotypes that may be biasing a data set without a researcher's knowledge. The results of the crowd's prediction can potentially be used during data collection to help prevent the suspected stereotypes from introducing bias to the dataset. We conduct our research by asking the crowd on Amazon's Mechanical Turk (AMT) to complete two similar Human Intelligence Tasks (HITs) by suggesting stereotypes relating to their personal experience. Our analysis of these responses focuses on determining the level of diversity in the workers' suggestions and their demographics. Through this process we begin a discussion on how useful the crowd can be in tackling this difficult problem within machine learning data collection.

研究の動機と目的

• クラウドソーシングが、モデル学習の前段階で文化的なステレオタイプやバイアスを前もって同定できるかどうかを調査すること。
• 既存の性別バイアス検出を越えて、データ収集における人種・階級・交差的ステレオタイプを調査すること。
• 訓練データにおける繊細で明白でないバイアスを検出するためのクラウド生成インサイトの実現可能性と品質を評価すること。
• 多様な視点を持つクラウド作業者の貢献が、データセットの公平性を向上させるデータキュレーション実務にどのように寄与できるかを明らかにすること。
• データ収集段階での早期検出を通じて、機械学習モデルにおけるバイアスの拡大を抑制する取り組みに貢献すること。

提案手法

• アマゾン・メカニカル・トゥルース上で2つのヒューマンインテリジェンスタスク（HIT）を実施し、作業者に人種・階級・性別に関連するステレオタイプを提示するよう依頼した。
• 個人経験に基づき、職業的・人種的・社会経済的関連性を焦点に、オープンエンドの回答を収集した。
• 多様性・頻度・意味的関連性を分析し、手動でのフィルタリングにより希少またはインサイトに富んだステレオタイプを同定した。
• 作業者の行動、特に指示への従順性や曖昧なタスクの誤解の有無を評価するため、定性的分析を実施した。
• ステレオタイプを強化するのではなく、それらを覆すような画像提案の有効性を検討し、今後の研究方向性として提案した。
• 自動的意味検証の限界を考慮し、すべての回答を受け入れ、手動による検査を実施することで、基本的な品質管理を実施した。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングは、研究者が見逃しがちな明白でない文化的ステレオタイプを、訓練データから効果的に特定できるか？
• RQ2 クラウド作業者は、性別を超えて人種や階級に関連するバイアスを、データ収集段階でどの程度特定できるか？
• RQ3 クラウド作業者のデモグラフィックの多様性は、より広範なステレオタイプの検出にどのように寄与するか？
• RQ4 オープンエンドのクラウド回答の品質と関連性を保証する上で直面する課題は何か？
• RQ5 ステレオタイプを覆すような画像提案は、バイアス検出タスクにおける強化的提案の代替として実用的か？

主な発見

• クラウドは、性別に限定されない多様なステレオタイプ、例えば「男前なトランスジェンダー女性」や「コンフederate旗を掲げる白人農村系アメリカ人」といった人種的・階級的・交差的関連性を特定した。
• 多様な視点が存在するにもかかわらず、imSituデータセットでは46.95％の動詞が片方の性別に偏っており、モデル学習中に平均で0.05％のバイアス拡大が確認された。
• MS-COCOデータセットでは、名詞オブジェクトの3分の1が男性に強く偏っており、特にスポーツ分野で顕著だった。一方、台所関連のオブジェクトは強く女性に偏っており、一部のバイアス拡大は0.1％に達した。
• 多くの回答が重複していたり低品質であった。作業者は頻繁に一般的な、もしくは意味的に無関係な提案（例：「I WANT A CLASS TYPE」）を提供しており、データ品質の課題が浮き彫りになった。
• 少数の作業者が創造的でステレオタイプを覆す画像提案を提供しており、今後のタスクではこうした反ステレオタイプ的コンテンツを明示的に求めることが、繰り返しを減らす有効な手段となる可能性がある。
• 悪意あるコメントや露骨な攻撃的発言は確認されなかったが、一部の作業者がタスクを誤解したり、関与が薄かったりした。これは、より良いタスク設計と品質管理の必要性を示している。