[論文レビュー] What do Bias Measures Measure

Sunipa Dev, Emily Sheng+7 more|arXiv (Cornell University)|Aug 7, 2021

Hate Speech and Cyberbullying Detection参考文献 57被引用数 5

ひとこと要約

本論文は、NLPにおけるバイアス測定法について包括的なサーベイを提示し、タスク、メトリクス、データセット、社会的バイアスの種別ごとに分類することで、各測定法が何を捉えているか、およびそれらの比較を明確にしている。研究分野における一貫性、分類、適切な使用を向上させるための標準化された文書化フレームワークを提案している。

ABSTRACT

Natural Language Processing (NLP) models propagate social biases about protected attributes such as gender, race, and nationality. To create interventions and mitigate these biases and associated harms, it is vital to be able to detect and measure such biases. While many existing works propose bias evaluation methodologies for different tasks, there remains a need to cohesively understand what biases and normative harms each of these measures captures and how different measures compare. To address this gap, this work presents a comprehensive survey of existing bias measures in NLP as a function of the associated NLP tasks, metrics, datasets, and social biases and corresponding harms. This survey also organizes metrics into different categories to present advantages and disadvantages. Finally, we propose a documentation standard for bias measures to aid their development, categorization, and appropriate usage.

研究の動機と目的

• 異なるタスク、メトリクス、データセット、社会的バイアスの観点から、NLPにおける既存のバイアス測定法を体系的に調査すること。
• 各測定法の強み、限界、および規範的仮定に基づいてバイアス測定法を分類すること。
• 現在のバイアス評価手法におけるギャップ、およびそれらが現実の害にどの程度整合しているかを特定すること。
• 研究における透明性と使いやすさを向上させるために、バイアス測定法の標準化された文書化フレームワークを提案すること。

提案手法

• 著者らは、NLPにおける既存のバイアス評価手法を体系的にレビューし、さまざまなNLPタスクへの応用に焦点を当てている。
• 社会的バイアスの種別（例：性別、人種）、NLPタスク（例：テキスト分類、生成）、およびメトリクスの種別（例：単語埋め込み類似度、モデルの公平性メトリクス）に沿ってバイアス測定法を分類している。
• 測定法の設計原理に基づいて、代表表現ベース、予測ベース、対面的（counterfactual）測定法などのカテゴリに分類している。
• 各測定法の背後にある規範的仮定を分析し、それが現実の社会的害とどの程度整合しているかを評価している。
• バイアスの種別、タスク、メトリクス、データセット、目的の使用ケースに関するメタデータを含む文書化基準を提案しており、再現性と透明性の向上を図っている。
• このフレームワークは、研究者がバイアス測定法を適切に選択・比較・応用できるように支援することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 既存のNLPバイアス測定法は、どのような種類の社会的バイアスと規範的害を捉えているか？
• RQ2 異なるバイアス測定法は、NLPタスク全体を通じて、その範囲、仮定、有効性の観点からどのように比較できるか？
• RQ3 現在のバイアス評価手法における主な限界とトレードオフは何か？
• RQ4 バイアス測定法を体系的に文書化・分類することで、研究の透明性と再現性をどのように向上できるか？

主な発見

• サーベイにより、バイアス測定法の定義、適用、解釈に大きなばらつきが見られ、評価手法の不一致が生じていることが明らかになった。
• 多くのバイアス測定法は特定のバイアス（例：単語埋め込みにおける性別バイアス）に焦点を当てているが、交差的または構造的なバイアスを捉えられていないことが多い。
• バイアス測定法が検出を目的としている規範的害と、現実のNLP導入現場で観察される社会的害との間に、整合性の欠如が見られる。
• 提案された文書化基準により、バイアス測定法の特性を明確に伝えられるようになり、将来的な研究における比較・選定が容易になった。