[論文レビュー] AraWEAT: Multidimensional Analysis of Biases in Arabic Word Embeddings

Anne Lauscher, Rafik Takieddin+2 more|MADOC (University of Mannheim)|Nov 3, 2020

Topic Modeling参考文献 22被引用数 6

ひとこと要約

本稿では、WEATテストを適応させ、追加のバイアス測定を統合することで、アラビア語の単語埋め込みにおけるバイアスを多次元的に測定するフレームワークAraWEATを紹介する。その結果、アラビア語のニュース埋め込みにおける暗黙的性別バイアスは2007年から2017年にかけて徐々に増加しており、モダーン・スタンダード・アラビア語（MSA）に比べエジプト・アラビア語で顕著である。また、全コーパスのバイアスは、サブコーパスの平均値から強く予測可能であることが判明した。

ABSTRACT

Recent work has shown that distributional word vector spaces often encode human biases like sexism or racism. In this work, we conduct an extensive analysis of biases in Arabic word embeddings by applying a range of recently introduced bias tests on a variety of embedding spaces induced from corpora in Arabic. We measure the presence of biases across several dimensions, namely: embedding models (Skip-Gram, CBOW, and FastText) and vector sizes, types of text (encyclopedic text, and news vs. user-generated content), dialects (Egyptian Arabic vs. Modern Standard Arabic), and time (diachronic analyses over corpora from different time periods). Our analysis yields several interesting findings, e.g., that implicit gender bias in embeddings trained on Arabic news corpora steadily increases over time (between 2007 and 2017). We make the Arabic bias specifications (AraWEAT) publicly available.

研究の動機と目的

• アラビア語の単語埋め込みに存在するステレオタイプ的バイアスの有無とその変化を調査すること。アラビア語は約3億人の話者を有する主要言語である。
• 多言語対応XWEATフレームワークをアラビア語に拡張し、アラビア語向けにバイアステスト仕様を翻訳・適合させること。
• 埋め込みモデル（Skip-Gram、CBOW、FastText）、ベクトルサイズ、テキストタイプ（百科事典的、ニュース、ユーザ生成コンテンツ）、方言（MSA 対 エジプト・アラビア語）、時間帯という複数の次元でバイアスを分析すること。
• 時間的に非重複するサブコーパスにおけるバイアスから、大規模コーパスにおけるバイアスを予測できるかどうかを評価すること。
• 今後のアラビア語NLP分野における公平性研究を支援するため、公開可能なアラビア語バイアス仕様（AraWEAT）を提供すること。

提案手法

• ターゲット語群および属性語群のバイアステスト仕様を翻訳・検証することで、元の英語WEATテストをアラビア語に適応させること。
• 4つの補完的バイアステストを統合する：WEAT（明示的関連バイアス）、埋め込み整合性テスト（ECT）、バイアス類似性テスト（BAT）、暗黙的バイアステスト（KM）— これらは暗黙的性別バイアスを測定するために用いられる。
• 多様なコーパス（アラビア語ライプツィヒニュース（2007–2017年）、ウィキペディア（百科事典的）、ユーザ生成コンテンツ）を用いて、複数のアラビア語単語埋め込みモデル（Skip-Gram、CBOW、FastText）を学習する。
• 時間的変化分析を実施するため、アラビア語ニュースコーパスの年次サブコーパスを用いてモデルを学習し、バイアスの時間的推移を追跡する。
• コサイン類似度と、異なる埋め込み空間およびコーパス間のバイアススコアの統計的相関を用いてバイアスを測定する。
• ピアソン相関を用いて、全コーパスのバイアス（CONC）が、重複のない年次サブコーパスの平均バイアス（AVG）と相関するかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 Skip-Gram、CBOW、FastTextといった異なるアラビア語単語埋め込みモデルおよびベクトルサイズは、得られる埋め込みのバイアスレベルにどのように影響するか？
• RQ2 モダーン・スタンダード・アラビア語（MSA）とエジプト・アラビア語（方言）コーパスで学習された埋め込みの間で、バイアスレベルに顕著な差異が生じるか？
• RQ3 ニュース、ユーザ生成コンテンツ、百科事典的テキストといったテキストタイプごとに、アラビア語の単語埋め込みにおけるバイアスはどのように変化するか？
• RQ4 10年間（2007–2017年）にわたる時間的推移において、アラビア語ニュース埋め込みにおける暗黙的性別バイアスは増加するか？
• RQ5 時間的に非重複するサブコーパスのバイアススコアの平均値から、大規模で一括のアラビア語コーパスのバイアスを正確に予測できるか？

主な発見

• 2007年から2017年にかけて、アラビア語ニュース埋め込みにおける暗黙的性別バイアス（KM）は着実に増加しており、性別と職業／家族役割との間のステレオタイプ的関連性が強まっていることを示唆している。
• エジプト・アラビア語コーパスで学習された埋め込みは、モダーン・スタンダード・アラビア語（MSA）で学習されたものよりも顕著に高いバイアスを示しており、方言差がバイアスを強化している可能性を示している。
• 全アラビア語ライプツィヒニュースコーパス（2007–2017年）におけるWEATによる明示的バイアスは、その年次サブコーパスのバイアススコア平均と強く相関しており、ピアソン相関係数は66%であった。
• 大規模コーパスで学習された埋め込みではバイアスが一般的に高く、百科事典的テキストに比べてユーザ生成コンテンツでより顕著であるが、他の言語と比較してその差はやや小さい。
• AraWEATフレームワークは、言語、モデル、時間という多次元的なバイアスを的確に捉えており、バイアスが一様に分布しているのではなく、動的に変化することを示している。
• AraWEATの公開（アラビア語バイアス仕様を含む）により、アラビア語NLPシステムにおける再現可能で拡張可能なバイアス評価が可能になった。