[論文レビュー] Domain Adaptation of Neural Machine Translation by Lexicon Induction

Junjie Hu, Mengzhou Xia+2 more|arXiv (Cornell University)|Jun 2, 2019

Natural Language Processing Techniques参考文献 34被引用数 7

ひとこと要約

本稿では、モノリンガルなドメイン固有のデータからドメイン固有の語彙を誘導し、単語対単語の逆翻訳を用いて疑似並列コーパスを構築することで、ドメイン外設定におけるニューラル機械翻訳（NMT）の性能を向上させる非教師付き手法である語彙誘導によるドメイン適応（DALI）を提案する。この手法は、ドメイン内並列文を一切使用せずに、未学習ドメインの語彙（OOV語）の翻訳性能を向上させ、未適応モデル比で最大14 BLEUの向上を達成し、強力な逆翻訳ベースライン比でも最大2 BLEUの向上を示す。

ABSTRACT

It has been previously noted that neural machine translation (NMT) is very sensitive to domain shift. In this paper, we argue that this is a dual effect of the highly lexicalized nature of NMT, resulting in failure for sentences with large numbers of unknown words, and lack of supervision for domain-specific words. To remedy this problem, we propose an unsupervised adaptation method which fine-tunes a pre-trained out-of-domain NMT model using a pseudo-in-domain corpus. Specifically, we perform lexicon induction to extract an in-domain lexicon, and construct a pseudo-parallel in-domain corpus by performing word-for-word back-translation of monolingual in-domain target sentences. In five domains over twenty pairwise adaptation settings and two model architectures, our method achieves consistent improvements without using any in-domain parallel sentences, improving up to 14 BLEU over unadapted models, and up to 2 BLEU over strong back-translation baselines.

研究の動機と目的

• 新しいドメインにおける未知語（OOV語）の翻訳失敗というドメインシフトの課題に対処すること。
• ドメイン固有の未知語に対して直接的な監視が欠如している、従来の教師なしデータベースの適応手法の限界を克服すること。
• ドメイン内モノリンガルデータを活用して、ドメイン内並列文を一切必要とせずにOOV語の翻訳を改善する手法を開発すること。
• ドメイン固有のOOV語に対する明示的な監視が、NMTにおける効果的なドメイン適応に不可欠であることを示すこと。
• 既存の文法性重視手法（例：逆翻訳）と補完的である、モデルに依存しないデータベースのアプローチを提供すること。

提案手法

• 教師ありまたは教師なし手法を用いて語彙誘導を実行し、ソース言語の埋め込みをターゲット言語空間にマッピングすることで、最近傍検索を用いて未学習のドメイン固有語の翻訳を可能にする。
• ドメイン外並列データと語の対応付けから得られるシード語彙を用い、直交制約を課した教師あり埋め込みマッピング関数を学習する。
• 教師なし語彙誘導のため、平行データの監視なしにクロスリンガル語の埋め込みを整列させるために、敵対的学習と反復的リファインメントを適用する。
• 誘導された語彙を用いて、ドメイン内ターゲットモノリンガル文をソース言語に単語対単語で逆翻訳することで、疑似並列ドメイン内コーパスを構築する。
• 得られた疑似並列ドメイン内データ上で、事前学習済みのドメイン外NMTモデルを微調整し、新しいドメインに適応させる。
• 提案手法を標準的な逆翻訳と組み合わせることで、文法性とOOV語翻訳の両面でさらなる性能向上を達成し、相補的な利点を示す。

実験結果

リサーチクエスチョン

• RQ1 教師なし語彙誘導は、ドメイン内並列データを一切使用せずに、ドメイン固有のOOV語のNMT性能を効果的に向上させることができるか？
• RQ2 ドメイン間NMTにおいて、提案手法は強力な逆翻訳ベースラインと比較して、BLEUスコアの向上にどの程度寄与するか？
• RQ3 提案手法は、逆翻訳とどの程度補完的であり、翻訳品質の向上に寄与するか？
• RQ4 本手法は、多様なドメインおよび異なるNMTアーキテクチャ（例：RNNとTransformer）において一貫した改善を示すか？
• RQ5 本手法による向上は、一般的な文法性の向上とは異なり、主にOOV語の処理の改善によるものであるか？

主な発見

• 提案されたDALI手法は、語彙誘導による逆翻訳で構築された疑似並列ドメイン内コーパス上で微調整することで、未適応NMTモデル比で最大14 BLEUの向上を達成する。
• 5つのドメイン（医療、IT、法務、字幕、コーラン）の20のペアワイズドメイン適応設定において、すべての設定でドメイン内並列文を一切使用せずに翻訳性能が向上した。
• 逆翻訳と組み合わせた場合、さらに4 BLEUの向上を達成し、OOV語翻訳と文法性の両面で相補的な向上を示した。
• 本手法はドメイン固有のOOV語の翻訳を顕著に改善するが、逆翻訳は主にソース側文の文法性を向上させるため、両者の利点は直交的であることが示された。
• DALIによる向上は、特にドメイン固有の未知語の翻訳において顕著であり、このような語に対する明示的監視がドメイン適応において不可欠であることを確認した。
• 本手法はRNNベースおよびTransformerベースの両方のNMTアーキテクチャにおいて一貫した向上を示し、一般化可能性とモデルに依存しない性質を裏付けた。