[論文レビュー] NLPositionality: Characterizing Design Biases of Datasets and Models

Sebastin Santy, Jenny T. Liang+3 more|arXiv (Cornell University)|Jun 2, 2023

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

NLPositionalityは、多様なグローバルなボランティアプールからのアノテーションとデータセットラベルまたはモデル予測の整合性を測定することで、NLPデータセットおよびモデルにおけるデザインバイアスを定量化するフレームワークを導入する。研究では、データセットおよびモデルが西洋、白人、大学教育を受けた、若年層の集団と最も整合性を示していることが明らかになった一方で、非バイナリー性別の個人および英語が母語でない人々は体系的に排除されていることが示された。

ABSTRACT

Design biases in NLP systems, such as performance differences for different populations, often stem from their creator's positionality, i.e., views and lived experiences shaped by identity and background. Despite the prevalence and risks of design biases, they are hard to quantify because researcher, system, and dataset positionality is often unobserved. We introduce NLPositionality, a framework for characterizing design biases and quantifying the positionality of NLP datasets and models. Our framework continuously collects annotations from a diverse pool of volunteer participants on LabintheWild, and statistically quantifies alignment with dataset labels and model predictions. We apply NLPositionality to existing datasets and models for two tasks -- social acceptability and hate speech detection. To date, we have collected 16,299 annotations in over a year for 600 instances from 1,096 annotators across 87 countries. We find that datasets and models align predominantly with Western, White, college-educated, and younger populations. Additionally, certain groups, such as non-binary people and non-native English speakers, are further marginalized by datasets and models as they rank least in alignment across all tasks. Finally, we draw from prior literature to discuss how researchers can examine their own positionality and that of their datasets and models, opening the door for more inclusive NLP systems.

研究の動機と目的

• 研究者、データセット、モデルのポジショナリティに起因するNLPシステムにおけるデザインバイアスを定量化するためのツールの不足に対処すること。
• スケーラブルで連続的かつ包括的な方法を確立し、NLPシステムが多様な集団とどの程度整合しているかを測定すること。
• 既存のデータセットおよびモデルに内在する体系的バイアスを露呈し、特に社会的受容性および嫌がらせ検出タスクにおけるバイアスを特徴づけること。
• NLP研究におけるポジショナリティへの意識を高め、研究者が自らおよび自らのシステムの位置的背景を検討するよう促すこと。

提案手法

• LabintheWildプラットフォームを活用し、87か国から1,096名の多様なアノテーターを募集し、継続的なアノテーション収集を実施する。
• 社会的受容性および毒性に関する標準化されたリッカート尺度評価を用いてアノテーションを収集し、元のデータセットまたはモデルのラベルと一致させる。
• アノテーターの人口統計的特徴とデータセット／モデル出力との整合性を、相関および一致度指標を用いて統計的に定量化する。
• 再トレーニングやモデルへのアクセスを必要とせず、既存のデータセットおよびモデル（GPT-4を含む）に対してフレームワークを後から適用する。
• 国籍、教育、年齢、ジェンダー・アイデンティティなどの自己申告による人種的背景情報を用いて、アイデンティティグループごとのポジショナリティの影響を分析する。
• データ品質の向上と長期的かつ持続可能なデータ収集を実現するため、報酬ではなく参加動機と学習意欲を優先する。

実験結果

リサーチクエスチョン

• RQ1 NLPデータセットおよびモデルは、多様なグローバル地域に住むアノテーターの人口統計的背景とどの程度整合しているか？
• RQ2 NLPシステムにおける設計バイアスは、その作成者および元のアノテーターのポジショナリティをどの程度反映しているか？
• RQ3 どの人口統計的グループがデータセットラベルおよびモデル予測と最も整合性が低いか、すなわち体系的な排除を受けているか？
• RQ4 継続的でボランティア主導のアノテーションフレームワークは、NLPシステムにおける変化するポジショナリティを効果的に捉えることができるか？
• RQ5 GPT-4のようなモデルのポジショナリティは、ファインチューニングされたモデルやデータセットと比較してどのようになるか？

主な発見

• 87か国から1,096名のアノテーターが参加し、合計16,299件のアノテーションが収集され、1年を超える期間で1日平均38件のアノテーションが得られた。
• データセットおよびモデルは、西洋的で白人、大学教育を受けた、若年層の集団と最も高い整合性を示しており、これはWEIRD（西洋的で教育を受けた、工業化され、裕福で、民主的）な特徴に一致する。
• 非バイナリー性別の個人および英語が母語でない人々は、すべてのタスクにおいてデータセットラベルおよびモデル予測と最も低い整合性を示しており、体系的な排除が確認された。
• 元のデータセットアノテーターは自らのラベルと強く整合しており、作成者のポジショナリティがデータセットバイアスを形作る役割を果たしていることが裏付けられた。
• フレームワークは、ファインチューニングされたモデルおよびGPT-4のような汎用的大規模言語モデルの両方において、特権的集団と一貫した整合性を示すポジショナリティパターンを効果的に同定した。
• 本研究は、LabintheWildのようなプラットフォームで継続的かつ動機付けに基づいたアノテーションが、報酬付きのクラウドソーシングよりも高い品質のデータを生み出し、設計バイアスの長期的モニタリングを可能にすることを示した。