[論文レビュー] Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It

Danielle Saunders, Rosie Sallis+1 more|arXiv (Cornell University)|Oct 11, 2020

Natural Language Processing Techniques参考文献 26被引用数 36

ひとこと要約

この論文は翻訳時の性別語形変化を単語レベルで明示的にタグ付けすることを検討し、性別格が関連するコリファレンスを含む翻訳の性別形変化の正確性を向上させる。コリファレンスを考慮したタグ付け（V3/V4）は過度一般化を減らし、ニュートラルな性別のシナリオを含む精度を改善する。

ABSTRACT

Neural Machine Translation (NMT) has been shown to struggle with grammatical gender that is dependent on the gender of human referents, which can cause gender bias effects. Many existing approaches to this problem seek to control gender inflection in the target language by explicitly or implicitly adding a gender feature to the source sentence, usually at the sentence level. In this paper we propose schemes for incorporating explicit word-level gender inflection tags into NMT. We explore the potential of this gender-inflection controlled translation when the gender feature can be determined from a human reference, or when a test sentence can be automatically gender-tagged, assessing on English-to-Spanish and English-to-German translation. We find that simple existing approaches can over-generalize a gender-feature to multiple entities in a sentence, and suggest effective alternatives in the form of tagged coreference adaptation data. We also propose an extension to assess translations of gender-neutral entities from English given a corresponding linguistic convention, such as a non-binary inflection, in the target language.

研究の動機と目的

• 文法性を持つ言語で性別依存のコリファレンスを翻訳する際のNMTにおける性別バイアスを動機づけ、定量化する。
• ターゲット言語の性別形変化を制御するための明示的な語レベルの性別語形タグを提案する。
• 英語→スペイン語と英語→ドイツ語に対して、二値および中立（非二値）シナリオの双方でタグベースの適応手法を評価する。
• タグ付けを自動ラベリングできるかを評価し、性別ニュートラル言語のためのニュートラル拡張翻訳セットを探る。

提案手法

• ターゲット語に明示的な性別タグを付与した小規模な合成データセットでTransformer NMTモデルをファインチューニングする。
• 性別化代替ラティスリコーリングを用いて、BLEUを保存しつつ翻訳を性別形変化に制約する。
• WinoMTベースの指標を用いて、一次エンティティおよび二次エンティティの語形変化（L2）に焦点を当て、過度一般化を検出する。
• RoBERTaベースの自動タグ付けを組み込み、自動ラベリングの実現性をテストする。
• 適応データをニュートラル拡張セットで拡張し、ターゲット言語の性別ニュートラルな語形変化をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 明示的な語レベルの性別タグは、コリファレンス文におけるターゲット言語の文法上の性別形変化を制御できるか。
• RQ2 単純なタグ付けスキームは、文中の複数のエンティティに対して過度一般化を引き起こすか。
• RQ3 タグ付きコアファレンス適応アプローチ（複数エンティティの訓練）は、単一エンティティのタグ付けより過度一般化の低減に効果的か。
• RQ4 このアプローチは、ターゲット言語で合成的なニュートラル語形変化を用いた性別ニュートラル（非二値）参照に対処できるか。
• RQ5 テストデータ中の性別信号を特定する自動RoBERTaベースのタグ付けは、ヒトによるラベリングと比較してどれくらい機能するか。

主な発見

• 単純な性別信号はしばしば複数のエンティティに過度一般化し、二次参照の翻訳品質を低下させる。
• V3（タグ付きの多エンティティ適応）は最大の改善をもたらす：en-deの精度が17%向上、en-esが30%向上。ΔL2の小さな増加とともに、過度一般化の低減を示す。
• V1とV2はより大きなΔL2を示し、非タグ付きエンティティへの過度一般化が強いことを意味する。
• 自動ラベル付けされたWinoMT文は、参照ラベル付き文と同等の精度を達成し、RoBERTa予測と人間ラベルの一致率は84%である。
• 中立的な（性別ニュートラル）実験では、タグ付けにより一次エンティティの精度が向上し（V4でen-esで最高56.5%）、二次エンティティの語形変化はスキームによってΔL2が異なる。