[論文レビュー] Evaluating Bias In Dutch Word Embeddings

Rodrigo Alejandro Chávez Mulsa, Gerasimos Spanakis|arXiv (Cornell University)|Oct 31, 2020

Hate Speech and Cyberbullying Detection参考文献 28被引用数 11

ひとこと要約

この論文は、英語ベースの手法をオランダ語に適応させ、WEAT、クラスタリング、SEATを用いて伝統的およびコンテキスト化されたモデルにおけるオランダ語の単語埋め込みの性別バイアスを評価している。ハードデブイアスおよびセンテンスデブイアスといったバイアス低減技術はバイアスを軽減するが、コンテキスト化されたモデルでは約2%の性能低下を引き起こす。本研究では、公開利用可能な翻訳済みオランダ語データセットおよびデブイアス済み埋め込みをリリースしている。

ABSTRACT

Recent research in Natural Language Processing has revealed that word embeddings can encode social biases present in the training data which can affect minorities in real world applications. This paper explores the gender bias implicit in Dutch embeddings while investigating whether English language based approaches can also be used in Dutch. We implement the Word Embeddings Association Test (WEAT), Clustering and Sentence Embeddings Association Test (SEAT) methods to quantify the gender bias in Dutch word embeddings, then we proceed to reduce the bias with Hard-Debias and Sent-Debias mitigation methods and finally we evaluate the performance of the debiased embeddings in downstream tasks. The results suggest that, among others, gender bias is present in traditional and contextualized Dutch word embeddings. We highlight how techniques used to measure and reduce bias created for English can be used in Dutch embeddings by adequately translating the data and taking into account the unique characteristics of the language. Furthermore, we analyze the effect of the debiasing techniques on downstream tasks which show a negligible impact on traditional embeddings and a 2% decrease in performance in contextualized embeddings. Finally, we release the translated Dutch datasets to the public along with the traditional embeddings with mitigated bias.

研究の動機と目的

• オランダ語の伝統的およびコンテキスト化された単語埋め込みにおける性別バイアスの存在と度合いを調査すること。
• 英語ベースのバイアス測定および低減手法が、オランダ語の言語的特徴（例：「zij」（彼女／彼ら））を考慮して適応可能かどうかを評価すること。
• バイアス低減が下流NLPタスクに与える影響、特にパフォーマンスの低下の度合いを評価すること。
• 再現可能性および今後の研究を目的として、翻訳済みオランダ語バイアス評価データセットおよびデブイアス済み単語埋め込みをリリースすること。

提案手法

• 英語のテストセットを翻訳しながら意味構造を保持する形で、オランダ語向けにワード埋め込み関連テスト（WEAT）および文書埋め込み関連テスト（SEAT）を適応した。
• ハードデブイアスおよびセンテンスデブイアス低減手法を用いて、伝統的およびコンテキスト化されたオランダ語埋め込みにおける性別バイアスを低減した。
• クラスタリング分析を用いて、WEATベースの低減後でもバイアスが残存するかを評価し、バイアス検出の代替経路を明らかにした。
• デブイアス済みモデルの性能を関係識別タスクおよびセンチメント分析タスクで評価し、下流タスクへの影響を測定した。
• オランダ語固有の性別を示す語群（例：「zij」（彼女／彼ら））を翻訳・キュレートし、デブイアスプロセスにおける適切な表現を保証した。
• コンテキストに依存するモデルBertjeおよびRoBertを用い、オランダ語固有の文脈テンプレートを用いてセンテンスデブイアスを実施し、文脈に適応した表現における性別バイアスを低減した。

実験結果

リサーチクエスチョン

• RQ1 オランダ語のコンテキスト化された単語埋め込みは性別バイアスに感受性を示すか？また、伝統的オランダ語単語埋め込みと比較してそのバイアスはどの程度か？
• RQ2 言語的差異（例：「zij」のような曖昧な代名詞）を考慮すると、英語ベースのバイアス測定および低減手法はオランダ語単語埋め込みに効果的に適応可能か？
• RQ3 バイアス低減が下流NLPタスクに与える影響は何か？特に伝統的およびコンテキスト化されたモデルにおけるパフォーマンスの低下の度合いは？

主な発見

• 伝統的およびコンテキスト化されたオランダ語単語埋め込みの両方においてバイアスが確認され、WEATテストにおける効果量は有意水準（p ≤ 0.05 または p ≤ 0.01）を示しており、顕著なバイアスが存在することが判明した。
• ハードデブイアスおよびセンテンスデブイアスはWEATおよびSEATによる測定でバイアスを低減したが、クラスタリング分析によりバイアスが依然として残存していることが判明し、WEATのみでは完全なバイアス検出が不十分であることが示された。
• 伝統的埋め込みのパフォーマンスはデブイアス処理によってほとんど影響を受けず、下流タスクへの影響は無視できるほど小さい。
• コンテキスト化された埋め込み（BERTJeおよびRoBert）はセンテンスデブイアス処理後、約2%のパフォーマンス低下を示した。これは公平性と正確性のトレードオフを示している。
• 低減処理後もコンテキスト化モデルにバイアスが残存しており、これらのモデルにおける性別サブスペースがより複雑であり、より強力または特化された手法が必要であることが示唆された。
• 本研究は、適切な翻訳および言語的適応を経て、英語ベースのバイアス評価および低減手法がオランダ語に効果的に適応可能であることを示した。特に「zij」のような曖昧な代名詞の処理において顕著である。