[論文レビュー] Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation

Sreyashi Nag, Mihir Kale+2 more|arXiv (Cornell University)|Apr 5, 2020

Natural Language Processing Techniques参考文献 12被引用数 8

ひとこと要約

この論文は、高品質な二か国語辞書を活用して、対訳データが少ない低リソースの半教師付きニューラル機械翻訳における合成ソース文をターゲット単語文から生成することで、Word-on-Word (WoW) データ拡張を提案する。この手法は語彙の拡張と対言語相関の維持により、翻訳性能を著しく向上させ、de-enでは最大13.31 BLEU、es-enでは13.79 BLEUを達成する。バックトランスレーションやコピーベース手法を上回り、特に低リソースおよびドメイン外設定において顕著な効果を示す。

ABSTRACT

We explore ways of incorporating bilingual dictionaries to enable semi-supervised neural machine translation. Conventional back-translation methods have shown success in leveraging target side monolingual data. However, since the quality of back-translation models is tied to the size of the available parallel corpora, this could adversely impact the synthetically generated sentences in a low resource setting. We propose a simple data augmentation technique to address both this shortcoming. We incorporate widely available bilingual dictionaries that yield word-by-word translations to generate synthetic sentences. This automatically expands the vocabulary of the model while maintaining high quality content. Our method shows an appreciable improvement in performance over strong baselines.

研究の動機と目的

• バックトランスレーションやコピーベース手法の低リソースNMTにおける限界、特に並列データが限られ、語彙外語（OOV）語が多く発生する状況での性能劣化を是正すること。
• 広く利用可能な二か国語辞書を活用することで、低リソース環境におけるモデルの耐性および語彙カバレッジを向上させること。
• 二か国語辞書に基づく翻訳により対言語構造を保持することで、異なるドメインからのモノリンガルデータを用いた効果的なドメイン適応を可能にすること。
• 並列データが限られる状況において、辞書ベースの拡張がバックトランスレーションよりも効果的であることを示すこと。
• WoWと他の拡張技術（例：COPY やバックトランスレーション）との相乗効果を調査すること。

提案手法

• WoW手法は、ターゲット側のモノリンガル文を二か国語辞書を用いて語単位で翻訳することで、ソース言語の合成並列トレーニング例を生成する。
• 合成されたソース側文は、実際の並列データと組み合わせられ、ニューラル機械翻訳モデルの学習に使用され、語彙カバレッジと対言語整合性が向上する。
• 正確な語レベル翻訳を保証するため、事前に存在する高品質な二か国語辞書（例：FacebookのMUSE）を用いる。
• 標準的なNMTアーキテクチャと互換性があり、アテンションベースのエンコーダ・デコーダにビームサーチデコードとAdam最適化を適用する。
• 複数の設定（ドメイン内、ドメイン外、他の拡張戦略との組み合わせ）で評価される。
• モノリンガルデータの割合を1:1、1:2、1:4と変化させ、データ量の増加に伴うスケーラビリティと性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 二か国語辞書を用いた語単位翻訳が、従来のバックトランスレーションと比較して、低リソースNMT性能を向上させることができるか？
• RQ2 二か国語辞書を用いたWoWが、語彙の拡張を通じて低リソース環境における語彙外語（OOV）語の問題を効果的に軽減できるか？
• RQ3 ドメイン外モノリンガルデータ（例：ニュースドメイン）を用いた場合、特にドメイン適応状況においてWoWはどの程度の性能を示すか？
• RQ4 COPY やバックトランスレーションなどの他のデータ拡張技術とWoWを組み合わせることで、さらに性能向上が達成できるか？
• RQ5 並列データが限られる状況において、WoWで生成される合成データの品質が、低品質なバックトランスレーションモデルを上回るか？

主な発見

• 10kの並列文に10kの合成文を追加した場合、de-enでは12.03 BLEU、es-enでは12.34 BLEUを達成し、バックトランスレーション（+10k BT：10.86 および 11.47 BLEU）およびCOPY（+10k COPY：11.24 および 11.49 BLEU）を上回る。
• モノリンガルデータを10kから40kに増加させると、de-enで3.8 BLEUポイント、es-enで4.3 BLEUポイントの性能向上が見られ、10kの高品質並列文を追加した場合の向上（13.01 および 13.46 BLEU）を上回る。
• ドメイン外モノリンガルデータ（ニュースドメイン）を用いた拡張では、ドメイン内並列データと同等の性能が達成された：40kのドメイン外WoWでは、de-enで4.85 BLEU、es-enで7.51 BLEUを記録し、10kのドメイン内並列データ（9.46 BLEU）と同等の性能を示した。
• ドメイン適応の文脈では、ターゲットドメインのモノリンガルデータ（例：ニュース）で学習したWoWモデルは、ソースドメイン（例：TED Talks）のデータでのみ学習したモデルを著しく上回り、優れたドメイン一般化性能を示した。
• WoWとCOPYを組み合わせると、20kのWoW単体よりも優れた結果（es-en：13.03 BLEU 対 12.96 BLEU）が得られ、両手法の相乗効果が示された。
• WoWとバックトランスレーションを組み合わせると性能が低下（de-en：11.46 BLEU）し、低品質なバックトランスレーションモデルは補完的効果を提供せず、むしろ性能を損なう可能性があることが示された。