[論文レビュー] Equalizing Gender Biases in Neural Machine Translation with Word Embeddings Techniques

Joel Escudé Font, Marta R. Costa‐jussà|arXiv (Cornell University)|Jan 10, 2019

Natural Language Processing Techniques参考文献 19被引用数 44

ひとこと要約

本論文は、Transformer型NMTシステムで用いられる語嵌め込みをデバイアス除去することで、英語-スペイン語翻訳における性別バイアスを低減しつつ、BLEUスコアを維持または改善する。

ABSTRACT

Neural machine translation has significantly pushed forward the quality of the field. However, there are remaining big issues with the output translations and one of them is fairness. Neural models are trained on large text corpora which contain biases and stereotypes. As a consequence, models inherit these social biases. Recent methods have shown results in reducing gender bias in other natural language processing tools such as word embeddings. We take advantage of the fact that word embeddings are used in neural machine translation to propose a method to equalize gender biases in neural machine translation using these representations. Specifically, we propose, experiment and analyze the integration of two debiasing techniques over GloVe embeddings in the Transformer translation architecture. We evaluate our proposed system on the WMT English-Spanish benchmark task, showing gains up to one BLEU point. As for the gender bias evaluation, we generate a test set of occupations and we show that our proposed system learns to equalize existing biases from the baseline system.

研究の動機と目的

• 特定の Occupations テストセットを用いて神経機械翻訳の性別バイアスを評価する。
• NMTフレームワーク内で語彙表現（GloVe variants）に対するデバイアス除去戦略を評価する。
• 性別バイアス指標とともに翻訳品質への影響（BLEU）を測定する。
• 事前学習済み語彙表現のエンコーダ単独、デコーダ単独、エンコーダ＋デコーダの配置を比較する。

提案手法

• ベースラインとしてTransformerベースのNMT（OpenNMT実装）を採用する。
• エンコーダ、デコーダ、または両方で事前学習済み語彙表現（GloVe variants）を使用する。
• デバイアス除去技術を適用する：Bolukbasiスタイルのハードデバイアス除去とGN-GloVeのジェンダー・ニュートラル語彙表現。
• 512次元の語彙表現と標準的なOpenNMTハイパーパラメータでモデルを訓練する。
• newstest2013でBLEUを用いて翻訳を評価し、Occupationsテストセットで性別バイアスを評価する。

実験結果

リサーチクエスチョン

• RQ1 デバイアス除去済みまたはジェンダー・ニュートラルな語彙表現をNMTに組み込むことで、翻訳における性別バイアスは低減するか？
• RQ2 事前学習済み語彙表現の配置（エンコーダ、デコーダ、または両方）がBLEUスコアとバイアス低減にどのような影響を与えるか？
• RQ3 デバイアス除去技術は、出力の性別ステレオタイプを低減しつつ翻訳品質をどの程度維持するか？

主な発見

• BLEUスコアは、事前学習済み語彙表現を使用する場合にほとんど劣化せず、場合によっては改善が見られる。特にGN-GloVeをエンコーダとデコーダの両方で使用した場合。
• Enc./Dec.でのGN-GloVe語彙表現は、テストされた構成の中で最高のBLEU（30.74）を達成。
• デバイアス除去済み語彙表現はOccupationsテストで正しい性別翻訳を大幅に向上させ、例えば女性代名詞予測の精度はベースラインより最大約30ポイント改善。
• ハードデバイアス除去済みGloVeとGN-GloVeは、ジェンダー・ニュートラルな翻訳タスクで一般にデバイアス除去なしのベースラインより優れている。
• 事前学習済み語彙表現の使用は一般にBLEUの向上をもたらし、英語-スペイン語NMTの翻訳品質を維持する。
• Occupationsテストは、デバイアス除去により文脈に基づく性別解決が改善される一方、いくつかの職業翻訳には依然難しさが残ることを示している。