[論文レビュー] Dictionary-based Data Augmentation for Cross-Domain Neural Machine Translation

Wei Peng, Chongxuan Huang+3 more|arXiv (Cornell University)|Apr 6, 2020

Natural Language Processing Techniques参考文献 21被引用数 14

ひとこと要約

本稿では、ドメイン固有の辞書と外部ドメイン（OOD）の対訳文を活用して大規模な疑似インドメイン（IND）並列コーパスを自動生成することで、クロスドメインニューラル機械翻訳（NMT）のための辞書ベースのデータ拡張（DDA）を提案する。この手法はドメインカバレッジを向上させることで翻訳性能を顕著に向上させ、ベースラインモデル比で3.75–11.53 BLEUの向上を達成し、バックトランスレーション手法と補完的である。

ABSTRACT

Existing data augmentation approaches for neural machine translation (NMT) have predominantly relied on back-translating in-domain (IND) monolingual corpora. These methods suffer from issues associated with a domain information gap, which leads to translation errors for low frequency and out-of-vocabulary terminology. This paper proposes a dictionary-based data augmentation (DDA) method for cross-domain NMT. DDA synthesizes a domain-specific dictionary with general domain corpora to automatically generate a large-scale pseudo-IND parallel corpus. The generated pseudo-IND data can be used to enhance a general domain trained baseline. The experiments show that the DDA-enhanced NMT models demonstrate consistent significant improvements, outperforming the baseline models by 3.75-11.53 BLEU. The proposed method is also able to further improve the performance of the back-translation based and IND-finetuned NMT models. The improvement is associated with the enhanced domain coverage produced by DDA.

研究の動機と目的

• 限られたインドメイン（IND）並列データと、既存のデータ拡張手法におけるドメイン情報ギャップが原因で生じるドメイン不一致を解消すること。
• バックトランスレーションや単語語彙データ拡張の限界を克服し、専門ドメインにおける希少語や語彙外語（OOV）語のカバレッジを十分に確保できていない問題に対処すること。
• インドメイン単語語彙データを必要としない、実用的でスケーラブルな大規模疑似IND並列コーパスの生成手法を開発すること。
• 辞書から得られる包括的なドメイン固有語彙をトレーニングデータに統合することで、低頻度語やOOV語の翻訳精度を向上させること。
• 辞書ベースの拡張が、クロスドメインNMTにおけるバックトランスレーションの代替的で補完的な有効な手法であることを示すこと。

提案手法

• 広く利用可能なドメイン辞書（例：SNOMED-CT）と一般ドメイン単語語彙コーパスを用いて、ドメイン固有のバイリンガル語彙を構築する。
• 語彙から得たドメイン固有語彙を用いて、OOD対訳文の文を置換することで、構文的・構造的パターンを保持した大規模な疑似IND並列コーパスを自動生成する。
• 語彙から得たドメイン固有翻訳語に置換することで、OOD対訳文の語やフレーズを置き換える辞書ベースの置換メカニズムを採用し、言語的妥当性を確保する。
• 強化されたドメインカバレッジ（ED）は、生成データ、テストセット、IND語彙とのn-gramマッチングを用いて定量評価され、EDは生成データとテストセットの両方に出現する語彙辞書からの一意な1–5-gram語彙数として定義される。
• 一般ドメインNMTモデルをOOD並列データでファインチューニングしたのちに、本手法を適用し、さらなる向上を得るためにバックトランスレーションと組み合わせ可能である。
• 本手法は、ニュースおよび医療ドメインにおける4つの翻訳方向（EN↔FR、EN↔DE）で評価され、BLEUスコアとドメインカバレッジ分析が用いられる。

実験結果

リサーチクエスチョン

• RQ1 インドメイン単語語彙データを必要とせずに、辞書ベースのデータ拡張がクロスドメインNMT性能を効果的に向上させられるか。
• RQ2 バックトランスレーションと比較して、DDAは希少語や語彙外語のドメイン固有語彙のカバレッジにおいてどのように優れているか。
• RQ3 強化されたドメインカバレッジ（ED）は、DDA強化モデルにおけるBLEUスコア向上とどの程度相関しているか。
• RQ4 DDAはバックトランスレーションが捉えきれない独自で高カバレッジのドメイン固有フレーズを生成でき、バックトランスレーションと補完的であるか。
• RQ5 IND語彙のサイズが、DDA強化NMTモデルの性能向上に直接的な影響を及えるか。

主な発見

• DDA強化NMTモデルは、4つの翻訳方向で一貫して顕著な向上を示し、ベースラインモデル比で3.75～11.53のBLEUスコア向上を達成した。
• 向上は強化されたドメインカバレッジ（ED）と強く相関しており、より大きなIND語彙辞書を用いることでEDが上昇し、BLEUスコアも向上した。
• DDAはバックトランスレーションよりも広範なドメイン固有語彙を生成する。特に「Lower respiratory tract infection」や「Renal artery stenosis」などの4-gramフレーズにおいて、バックトランスレーションでは捉えきれない語彙を生成した。
• DDA-G（DDAで生成されたデータ）はバックトランスレーションよりも45個の追加IND語彙を捉えており、特に4-gram分布において顕著な優位性を示し、複雑な語彙のカバレッジが優れていることを示している。
• バックトランスレーションと組み合わせることで、DDAはさらなる性能向上を達成し、補完的データ拡張戦略としての有効性を示した。
• 本手法は包括的なドメイン固有語彙をトレーニングデータに統合し、専門ドメインにおける希少語や語彙外語の翻訳誤りを顕著に低減した。