[論文レビュー] On Measures of Biases and Harms in NLP

Sunipa Dev, Emily Sheng+9 more|arXiv (Cornell University)|Aug 7, 2021

Topic Modeling被引用数 9

ひとこと要約

本論文は、社会心理学および言語学に根ざした分類法を用いて、NLPにおけるバイアス測定を、抹消、ステレオタイプ化、軽視といった具体的な社会的害に一致させる実用的なフレームワークを提案する。このフレームワークは、バイアス測定の範囲、限界、意図する害の明確化を図るための文書化質問を導入し、同じタスクであっても設計上の選択によって異なる害を測定できることが、事例研究によって検証されている。

ABSTRACT

Recent studies show that Natural Language Processing (NLP) technologies propagate societal biases about demographic groups associated with attributes such as gender, race, and nationality. To create interventions and mitigate these biases and associated harms, it is vital to be able to detect and measure such biases. While existing works propose bias evaluation and mitigation methods for various tasks, there remains a need to cohesively understand the biases and the specific harms they measure, and how different measures compare with each other. To address this gap, this work presents a practical framework of harms and a series of questions that practitioners can answer to guide the development of bias measures. As a validation of our framework and documentation questions, we also present several case studies of how existing bias measures in NLP -- both intrinsic measures of bias in representations and extrinsic measures of bias of downstream applications -- can be aligned with different harms and how our proposed documentation questions facilitates more holistic understanding of what bias measures are measuring.

研究の動機と目的

• NLPバイアス測定と現実世界の社会的害との間の明確な一致の欠如に応えること。
• 抹消、ステレオタイプ化、人間性の否認といった害を、理論的根拠に基づいた実用的フレームワークで分類すること。
• バイアス測定の範囲、文化的・人種的集団の焦点、限界を明確化するための標準化された文書化質問のセットを構築すること。
• 同じNLPタスク内でも異なるバイアス測定が異なる害を捉えることの事例研究によるフレームワークの検証。
• NLPアプリケーション全体におけるバイアス評価手法の透明性と比較可能性を向上させること。

提案手法

• 社会心理学および言語学に由来する害の分類法を提案し、抹消、ステレオタイプ化、軽視、人間性の否認、およびサービス品質（QoS）低下を含む。
• バイアス測定の対象となる文化的・人種的集団、タスクの文脈、データセット、測定の定義、意図する害を明確化するための10の文書化質問を導入。
• コアフェイズリゾリューション、NLI、センチメント分析、質問応答など、さまざまなタスクにおける43の既存バイアス測定をこのフレームワークで分析。
• 事例研究を通じて、同一タスクに適用されても、アイデンティティ用語を用いる測定と職業関連のプロンプトを用いる測定が、異なる害を捉えることが示された。
• バイアスの操作化（例：センチメント、敬意、ステレオタイプ的関連）に基づいてバイアス測定を分類し、特定の害タイプにマッピング。
• 一部の測定が複数の害を混同している、または設計上の制限により重要な社会的影響を捉えられていないことの検証により、フレームワークの妥当性を確認。

実験結果

リサーチクエスチョン

• RQ1 NLPにおけるバイアス測定を、抹消やステレオタイプ化といった特定の社会的害に体系的に一致させる方法は何か？
• RQ2 異なるNLPタスクや文化的・人種的集団において、既存のバイアス測定が「バイアス」をどのように操作化しているかの主な変動要因は何か？
• RQ3 データセット構築法、測定定義、文化的・人種的集団のターゲティングの違いが、バイアス測定が捉える害の種類にどのように影響するか？
• RQ4 現在のバイアス評価実践は、NLPシステムにおける社会的害の全範囲を十分に捉えられていない程度はどの程度か？
• RQ5 バイアス測定の透明性、比較可能性、実務家による実行可能性を高めるために、文書化手法をどのように改善できるか？

主な発見

• フレームワークは43の既存バイアス測定を特定の害にマッピングし、多くの測定が複数の害タイプを混同している、あるいは特定の1つ（例：ステレオタイプ化のみ、または抹消のみ）に限定して焦点を当てていることが判明した。
• アイデンティティ用語を用いる測定は、軽視や人間性の否認といった害を評価する傾向がある一方、職業関連のプロンプトを用いる測定は、抹消やステレオタイプ化を検出する傾向にある。
• 同じタスク（例：コアフェイズリゾリューション）内でも、異なる測定が異なる害を捉えている：例えば、Websterら（2018）はQoSを測定しているが、CaoとDaumé III（2020）は抹消とQoSの両方を捉えている。
• Shengら（2019）で用いられた「敬意」指標は社会的認識に敏感であるが、センチメントや感情語分析によって検出可能なバイアスを逃す可能性がある。
• テンプレートベースのデータキュレーション手法はスケーラブルであるが、テンプレート作成者の文法的・意味的バイアスを組み込むリスクがあり、一般化可能性を制限する。
• 1つのバイアス測定では、害の全範囲を捉えることはできない。センチメント、敬意、感情に基づく指標を組み合わせることで、より包括的な評価が可能になる。