[論文レビュー] Filling Gender & Number Gaps in Neural Machine Translation with Black-box Context Injection

Amit Moryossef, Roee Aharoni+1 more|arXiv (Cornell University)|Mar 8, 2019

Natural Language Processing Techniques参考文献 13被引用数 8

ひとこと要約

この論文は、事前学習済みニューラル機械翻訳（NMT）システムに性別および数の情報をブラックボックス手法で注入する方法を提案している。具体的には、ソース文に文脈的に明示的なヒント（例：'She said: '）を付加することで、翻訳の正確性を、モデルや学習データを変更せずに最大2.3 BLEU向上させた。

ABSTRACT

When translating from a language that does not morphologically mark information such as gender and number into a language that does, translation systems must "guess" this missing information, often leading to incorrect translations in the given context. We propose a black-box approach for injecting the missing information to a pre-trained neural machine translation system, allowing to control the morphological variations in the generated translations without changing the underlying model or training data. We evaluate our method on an English to Hebrew translation task, and show that it is effective in injecting the gender and number information and that supplying the correct information improves the translation accuracy in up to 2.3 BLEU on a female-speaker test set for a state-of-the-art online black-box system. Finally, we perform a fine-grained syntactic analysis of the generated translations that shows the effectiveness of our method.

研究の動機と目的

• 性別および数のニュートラルなソース言語から、屈曲が豊富な目的言語に翻訳する際の変形的曖昧性に対処すること。
• 下位のNMTモデルやその学習データを変更せずに、生成翻訳における性別および数の表記を制御可能にすること。
• 文内共参照チェーンを活用して発話者および聴衆の性別・数の性質を注入する、シンプルでポストプロセッシングと互換性のある手法を開発すること。
• ヘブライ語、スペイン語、フランス語、ロシア語など、性別一致が屈曲的に表記される複数の言語対について、この手法の有効性を評価すること。

提案手法

• 発話者の性別および数を明確に示すために、事前に定義されたテクストヒント（例：'She said: '）を入力文に挿入する。
• 文内の共参照チェーン（例：'I love you, she told him'）を用いて、明確な先行詞関係を構築し、屈曲的決定をガイドする。
• 推論の前処理としてこの手法を適用し、生成後に挿入されたヒントを削除することで、綺麗な出力を維持する。
• NMTモデルが、このような信号に明示的に学習されていなくても、共参照および屈曲的一致を追跡する能力を活用する。
• ブラックボックス方式で動作する。モデルの内部構造、パラメータ、再訓練へのアクセスは不要である。
• Google Translateなどの商用APIを含む、任意の事前学習済みNMTシステムと互換性のあるラッパー方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス手法を用いて、事前学習済みNMTシステムに性別および数の情報を効果的に注入し、屈曲的出力を制御できるか？
• RQ2 文脈的に明示的なヒントを注入することで、性別および数の曖昧なケースにおける翻訳正確性が向上するか？
• RQ3 異なる屈曲的表記システムを持つ複数の言語対に、この手法がどの程度一般化可能か？
• RQ4 特に代名詞、動詞、形容詞の一致に関して、この手法が文法的正確性にどのように影響するか？
• RQ5 Google Translateのような商用で非オープンソースの翻訳システムに対しても、この手法を適用可能か？

主な発見

• 正しく性別および数の情報を注入した場合、英語→ヘブライ語のテストセットにおいて、翻訳BLEUスコアが最大2.3ポイント向上した。
• Google Translateを用いた女性発話者向けテストセットでは、ベースラインおよび先行の最先端手法を上回るBLEUスコア39.95を達成した。
• ヘブライ語、スペイン語、フランス語、ロシア語など複数の言語で、第一人称および第二人称の代名詞、動詞、形容詞の屈曲的一致を効果的に制御できた。
• 詳細な文法的分析により、注入された文脈がモデルが正しい屈曲形を生成するように効果的に誘導していることが確認された。
• テストした10言語のうち6言語で一般化が達成され、60%のケースで正しい性別のマークが保持された。30%のケースでは男性形に、10%のケースでは女性形にデフォルトされた。
• Google Translateのような商用で閉鎖型のNMTシステムに対しても、この手法は効果的であり、強力なブラックボックス互換性を示した。