[論文レビュー] Re-contextualizing Fairness in NLP: The Case of India

Shaily Bhatt, Sunipa Dev+3 more|arXiv (Cornell University)|Sep 25, 2022

Hate Speech and Cyberbullying Detection被引用数 7

ひとこと要約

この論文は、インドの文化的・文化的文脈に即したNLP公平性の再考を試み、モデルおよびデータにおける地域、宗教、種姓、口語的バイアスを特定し、インド固有の評価リソースと包括的な研究アジェンダを提唱する。社会的文脈、技術的ギャップ、インドの文化的価値を統合したアプローチを採用する。感情分析モデルにおける顕著な予測バイアスと、データおよびモデルにおけるステレオタイプ的エンコードを実証的に示し、他の非西洋的地理的・文化的文脈に適応可能なフレームワークを提供する。

ABSTRACT

Recent research has revealed undesirable biases in NLP data and models. However, these efforts focus on social disparities in West, and are not directly portable to other geo-cultural contexts. In this paper, we focus on NLP fair-ness in the context of India. We start with a brief account of the prominent axes of social disparities in India. We build resources for fairness evaluation in the Indian context and use them to demonstrate prediction biases along some of the axes. We then delve deeper into social stereotypes for Region andReligion, demonstrating its prevalence in corpora and models. Finally, we outline a holistic research agenda to re-contextualize NLP fairness research for the Indian context, ac-counting for Indian societal context, bridging technological gaps in NLP capabilities and re-sources, and adapting to Indian cultural values. While we focus on India, this framework can be generalized to other geo-cultural contexts.

研究の動機と目的

• 非西洋社会、特に多様性と多言語性に富むインドの文脈における、文脈特化型の公平性研究の不足に対処すること。
• 地域、宗教、種姓、口語的要因といったインドの主な不平等軸に沿った予測バイアスを特定し、実証的に示すこと。
• インドのNLPにおける公平性評価のためのキュレート済みリソース（ステレオタイプデータセットとパーカージョンベンチマークを含む）を構築・公開すること。
• インドの社会的構造、低リソース言語における技術的制限、そして回復的正義といった文化的価値を統合した包括的な研究アジェンダを提唱すること。
• NLPにおける公平性対策が、インドの法律的・倫理的規範（例：予約制度、非均等的正義枠組み）と矛盾しないようにすること。

提案手法

• 事前学習済み言語モデルに対してパーカージョン分析を実施し、入力プロンプトにおける地域的・宗教的・種姓関連のアイデンティティマークに対してモデルの感受性をテストすること。
• インド固有のキュレート済みデータセットと言語的代理指標を用いてバイアスを評価するためのDisCo（不平等中心型）分析フレームワークの開発。
• 社会的カテゴリー（例：宗教、地域）とステレオタイプ的特徴の関連性を人間によるアノテーションで収集したステレオタイプデータセットの作成。制御された言語的刺激を用いる。
• 英語およびインド語のコーパスを組み合わせて、トレーニングデータおよびモデル出力における社会的ステレオタイプの広がりを検出・分析すること。
• 西洋の公平性評価フレームワークを、回復的正義やコミュニティベースの公平性モデルを含むインドの社会的規範に適合させる。
• インドの社会的文脈、技術的能力のギャップ、およびインドの規範・法的枠組みとの価値適合を核とする三段階の研究アジェンダを提唱すること。

実験結果

リサーチクエスチョン

• RQ1 インドのNLPモデルは、地域、宗教、種姓、口語的要因といった軸に沿って、どのように予測バイアスを示すか？
• RQ2 特に宗教および地域に関する社会的ステレオタイプは、どの程度インドのNLPデータセットおよびモデルに組み込まれているか？
• RQ3 既存の公平性評価リソースがインドの文脈に適用された際の限界は何か。また、どのように改善できるか？
• RQ4 NLPにおける公平性研究は、回復的正義や予約制度といったインドの社会的価値とどのように再文脈化できるか？
• RQ5 多言語性とトランスファー学習は、インドのNLPシステムにおけるバイアスの伝搬および緩和にどのような影響を及えるか？

主な発見

• パーカージョン分析により、感情分析モデルの予測が、入力テキストにおける地域的・宗教的・種姓関連のアイデンティティマークに対して顕著に感受性を示すことが判明し、モデル行動における強いバイアスが示された。
• DisCo分析により、インド固有のリソースがなければ、既存の公平性評価ツールがインドの文脈におけるバイアスを検出できないことが明らかになった。これにより、局所化されたベンチマークの必要性が強調された。
• 新たに作成されたステレオタイプデータセットは、インドのトレーニングデータおよび事前学習済みモデルが、有害な地域的・宗教的ステレオタイプを優遇的にエンコードしていることを示した。
• 研究では、インド語の口語的特徴がモデルの予測に顕著に影響することを発見し、言語的多様性がNLPシステムにおけるバイアスの主要な軸であることが示された。
• 実証的結果から、ある言語（例：英語）におけるバイアス緩和が、低リソースのインド語にうまく伝播しないことが判明し、多言語公平性研究の必要性が強調された。
• 本研究では、現在の公平性フレームワークにおける重要なギャップを特定した。すなわち、しばしば西洋の規範的価値を強制する傾向があり、これはインドの回復的正義モデルや法的枠組みと矛盾する可能性がある。