[論文レビュー] Is there Gender bias and stereotype in Portuguese Word Embeddings?

Brenda Salenave Santana, Vinicius Woloszyn+1 more|arXiv (Cornell University)|Oct 10, 2018

Gender Studies in Language参考文献 2被引用数 7

ひとこと要約

本研究では、事前学習済みのCBOW word2vecモデルを用いてポルトガル語の単語埋め込みにおける性別バイアスを調査し、英語言語のアプローチを模倣した幾何学的デバイアス化手法を適用した。デバイアス化後、正解率が18.18％から3.03％に著しく低下したものの、結果は特に女性の職業が性的に性化された役割と結びつけられる強固な性別ステレオタイプを示しており、リソースが限られた言語としてのポルトガル語における的確な是正策の必要性を浮き彫りにしている。

ABSTRACT

In this work, we propose an analysis of the presence of gender bias associated with professions in Portuguese word embeddings. The objective of this work is to study gender implications related to stereotyped professions for women and men in the context of the Portuguese language.

研究の動機と目的

• ポルトガル語の単語埋め込みに性別バイアスおよび職業的ステレオタイプが存在するかを調査すること。
• 事前学習済みのポルトガル語word2vecモデルにおける直接的および間接的性別バイアスを定量化すること。
• 幾何学的デバイアス化手法がモデルの正解率およびバイアス低減に与える影響を評価すること。
• 英語言語用に開発されたデバイアス化技術が、リソースが限られた言語としてのポルトガル語に効果的に適応可能かどうかを検討すること。
• 性別に偏った言語的バイアスを同定・是正することで、ポルトガル語向けのより公平なNLPモデルの開発に貢献すること。

提案手法

• 分析に使用したのは、300次元のベクトルと934,966語彙を有する事前学習済みの連続的袋（CBOW）word2vecモデルである。
• 性別バイアス検出には、語のアナロジーに基づく手法を採用し、関係性 'ela'（彼女） - 'x' ≈ 'y' - 'ele'（彼）をテストした。ここでxは職業を、yは期待される性別に偏った対応語を表す。
• 独自の評価関数を用いて、ベクトル差の類似度が最も高い語が期待される女性職業と一致するかを確認することで正解率を算出した。
• 英語の手法と同様に、埋め込み空間内の性別方向を中立化するための幾何学的デバイアス化アルゴリズムを適用した。
• 50組の男性・女性職業ペairを用いたリストを用いて、デバイアス化の前後でモデルの性能を評価した。
• コサイン類似度を用いてベクトル類似度を計算し、gensimライブラリを介して上位-Nの類似語を取得した。

実験結果

リサーチクエスチョン

• RQ1 ポルトガル語の単語埋め込みは、どの程度性別に偏った職業的ステレオタイプに影響を受けていますか？
• RQ2 幾何学的デバイアス化手法を適用した後、性別に偏った職業アナロジーの正解率はどのように変化しますか？
• RQ3 ポルトガル語の単語埋め込みにおいて、バイアス低減とモデルパフォーマンスの間にはどのようなトレードオフがありますか？
• RQ4 英語の単語埋め込み用に開発された技術は、ポルトガル語に効果的に適応可能でしょうか？
• RQ5 女性と男性の職業を含む極端なアナロジーは、言語における社会的性別ステレオタイプをどのように反映していますか？

主な発見

• 元のモデルは、正しく性別に偏った職業アナロジーを予測する正解率が18.18％にとどまり、測定可能ではあるが低い予測性能を示した。
• デバイアス化手法を適用した後、正解率は急激に3.03％に低下し、モデルの有用性に顕著な悪影響を与えたことが示唆された。
• モデルは強いステレオタイプ的関連を示しており、特に「garçonete」（ウェイトレス）が「stripper」（エキゾチックダンサー）と結びつけられるなど、女性の職業が性的に性化された役割と強く結びついていた。
• 非適合ケースでも、男性職業のアナロジーは依然として職業的文脈に留まっていたが、女性職業のアナロジーは頻繁に性的な役割へとシフトしていた。
• 結果から、性別バイアスは特に女性専門職に関連する部分において、ポルトガル語の単語埋め込みに深く根付いていることが確認された。
• 本研究は、デバイアス化手法がバイアス低減に有効であることを示したが、その代償としてモデルの正解率が低下することを明らかにした。これは、公平性指向のNLPにおいて重要なトレードオフを示している。