[論文レビュー] Integrating Unsupervised Data Generation into Self-Supervised Neural Machine Translation for Low-Resource Languages

Dana Ruiter, Dietrich Klakow+2 more|arXiv (Cornell University)|Jul 19, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、自己教師付きニューラル機械翻訳（SSNMT）における低資源言語翻訳の向上を目的として、自己教師付きデータ生成技術（バックトランスレーションおよび多言語ノイズ除去オートエンコーダ）を統合する手法を提案する。オンライン文対抽出とバックトランスレーション、多言語事前学習を組み合わせることで、並列データを一切使用しない状況下でも、低資源および言語的距離の遠い言語対において最先端の結果を達成し、SSNMTおよび非教師付きMTベースラインを最大+4.3 BLEUの向上で上回った。

ABSTRACT

For most language combinations, parallel data is either scarce or simply unavailable. To address this, unsupervised machine translation (UMT) exploits large amounts of monolingual data by using synthetic data generation techniques such as back-translation and noising, while self-supervised NMT (SSNMT) identifies parallel sentences in smaller comparable data and trains on them. To date, the inclusion of UMT data generation techniques in SSNMT has not been investigated. We show that including UMT techniques into SSNMT significantly outperforms SSNMT and UMT on all tested language pairs, with improvements of up to +4.3 BLEU, +50.8 BLEU, +51.5 over SSNMT, statistical UMT and hybrid UMT, respectively, on Afrikaans to English. We further show that the combination of multilingual denoising autoencoding, SSNMT with backtranslation and bilingual finetuning enables us to learn machine translation even for distant language pairs for which only small amounts of monolingual data are available, e.g. yielding BLEU scores of 11.6 (English to Swahili).

研究の動機と目的

• 並列データが乏しいもしくは存在しない低資源神経機械翻訳の課題に対処すること。
• 非教師付きデータ生成技術（例：バックトランスレーション、ノイズ除去）が自己教師付きNMT（SSNMT）の性能向上に寄与するかどうかを調査すること。
• 低資源環境下における多言語ノイズ除去オートエンコーダ、バックトランスレーション、および二言語微調整の組み合わせの有効性を検討すること。
• 言語的タイプが異なる、および最小限の単語形データしか利用できない低資源言語対を含む多様な言語対に対して、手法の有効性を評価すること。
• 非教師付きデータ拡張および多言語事前学習を活用することで、並列データが一切ない状況下でもSSNMTが強力な性能を発揮できることを示すこと。

提案手法

• エンコーダ埋め込みのマージンベースの類似度測定を用いて、類似した文対を同等の単語形コーパスから同時に学習・抽出する自己教師付きNMTフレームワークを適応する。
• 自己符号化と翻訳ループを用いて合成並列データを生成することで、バックトランスレーションを非教師付きデータ拡張技術として統合する。
• 少数の多言語単語形コーパスを用いて多言語ノイズ除去オートエンコーダ（MDAE）事前学習を実施し、言語間の表現学習を向上させる。
• 二言語微調整を用いて、モデルの出力分布をターゲット言語の特徴に一致させ、低資源対における一般化性能を向上させる。
• 共有エンコーダ・デコーダアーキテクチャを用いて、文対抽出と翻訳を反復的に最適化するエンドツーエンドでオンラインな学習フレームワークを採用する。
• 共通の多言語エンコーダと言語固有のデコーダを用いることで、言語対が遠く離れていてもゼロショットおよびフェイシュート転移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 バックトランスレーションやノイズ除去といった非教師付きデータ生成技術が、低資源環境下における自己教師付きNMTの性能向上に寄与するか。
• RQ2 MDAE事前学習、バックトランスレーション、および二言語微調整の組み合わせが、低資源および言語的距離の遠い言語対における翻訳品質に与える影響は何か。
• RQ3 UMTスタイルのデータ拡張をSSNMTに統合することで、単独で用いる場合よりも一般化性能が向上するか。
• RQ4 並列データが一切ない状況下でも、データ拡張を施したSSNMTが、抽出された並列データで学習した教師ありシステムと同等の性能を発揮できるか。
• RQ5 言語のタイプ学および距離が、提案手法の成功に果たす役割は何か。また、多言語事前学習を距離の遠い言語対に最適化するにはどうすればよいか。

主な発見

• 提案されたUMT強化型SSNMTフレームワークは、アフリカーンス語→英語翻訳において、SSNMTベースラインを最大+4.3 BLEU上回り、統計的UMTおよびハイブリッドUMTをそれぞれ+50.8および+51.5 BLEU上回った。
• 言語的距離の遠い言語対（英語→スワヒリ語）において、66kの単語形文のみを用いてBLEUスコア11.6を達成し、極めて低資源な環境下での有効性を示した。
• 学習中に並列データを一切使用していないにもかかわらず、Laserで抽出された並列文を用いて学習した教師ありNMTシステムを、英語–アフリカーンス語および英語–ネパール語対においても上回った。
• 英語–ヨルゥバ語対においては、わずか501文の並列データのみでBLEUスコア22.4を達成し、非教師付きおよび自己教師付きベースラインを上回った。
• 多言語ノイズ除去オートエンコーダ、バックトランスレーション、および二言語微調整の組み合わせにより、従来の非教師付きまたは自己教師付き手法が失敗する言語対に対しても、成功した学習が可能になった。
• マルチリンガル事前学習データセットにソース言語が含まれていない場合、モデルの性能が低下する傾向にあり、関連言語を事前学習に含める重要性が示された。