[論文レビュー] Unsupervised Parallel Corpus Mining on Web Data

Guokun Lai, Zihang Dai+1 more|arXiv (Cornell University)|Sep 18, 2020

Natural Language Processing Techniques参考文献 12被引用数 4

ひとこと要約

本論文は、ラベル付き平行コーパスを必要とせず、自己教師付き機械翻訳モデルを用いて偽の平行データを生成し、それを分類器の学習に用いることで、ウェブクロールから高品質な平行文を抽出する教師なしウェブ並列コーパスマイニングパイプラインを提案する。この手法は、低リソース言語対（En-Roで39.81 BLEU、Ro-Enで38.95）で最先端の結果を達成し、WMTベンチマークにおいても教師ありシステムと同等またはそれを上回る性能を示した。

ABSTRACT

With a large amount of parallel data, neural machine translation systems are able to deliver human-level performance for sentence-level translation. However, it is costly to label a large amount of parallel data by humans. In contrast, there is a large-scale of parallel corpus created by humans on the Internet. The major difficulty to utilize them is how to filter them out from the noise website environments. Current parallel data mining methods all require labeled parallel data as the training source. In this paper, we present a pipeline to mine the parallel corpus from the Internet in an unsupervised manner. On the widely used WMT'14 English-French and WMT'16 English-German benchmarks, the machine translator trained with the data extracted by our pipeline achieves very close performance to the supervised results. On the WMT'16 English-Romanian and Romanian-English benchmarks, our system produces new state-of-the-art results, 39.81 and 38.95 BLEU scores, even compared with supervised approaches.

研究の動機と目的

• ニューラル機械翻訳システムの学習に必要な人手によるアノテーション付き並列コーパスの高コストと希少性に対処すること。
• ラベル付き並列データを一切必要とせず、ウェブから大規模かつ低コストで並列コーパスをマイニングすること。
• 教師なしマイニングを用いて、低リソース言語対におけるニューラル機械翻訳モデルの性能を向上させること。
• ラベル付き並列データが存在しない任意の言語対に適用可能でスケーラブルなパイプラインの開発。

提案手法

• XLM風の目的関数（ノイズ除去自己オートエンコーダとバックトランスレーションを含む）を用いて教師なし機械翻訳モデルを学習する。
• 教師なし翻訳モデルが生成する偽の並列データから初期辞書を生成し、ウェブクローリングを誘導する。
• ドキュメントおよび文レベルの整合性を考慮したBitextorクローラーを用い、多言語ウェブサイトから生の並列文ペアを抽出する。
• 偽の並列データで学習された分類器を用いて、クロールされたコーパスから低品質およびノイズの多い文ペアを除外する。
• 最終的にフィルタリングされたコーパスを教師ありデータとして用い、ニューラル機械翻訳モデルをファインチューニングする。
• パイプラインを教師なし学習の目的関数と統合し、低リソース環境での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータを一切用いずに、教師なし機械翻訳システムを用いて高品質な並列コーパスをウェブからマイニングできるか？
• RQ2 提案されたパイプラインは、教師あり手法と比較して、実際に利用可能な並列データをどれほど効果的に抽出できるか？
• RQ3 マイニングされた並列データは、完全に教師ありのシステムと同等またはそれ以上の性能を低リソース言語対で達成できるか？
• RQ4 フィルタリングステップの影響は何か？また、ノイズの多いデータに対して学習はどれほど頑健か？

主な発見

• 提案されたパイプラインは、WMT’16 英語-ルーマニア語翻訳ベンチマークで39.81 BLEUを達成し、新たな最先端の結果を樹立した。
• ルーマニア語-英語翻訳においては38.95 BLEUを達成し、同ベンチマークで最高の教師あり結果（38.5 BLEU）を上回った。
• WMT’14 英語-フランス語およびWMT’16 英語-ドイツ語ベンチマークにおいて、マイニングされたデータで学習したモデルは、完全に教師ありのシステムと非常に近い性能を示した。
• アブレーションスタディの結果、生のクロールデータはフィルタリング済みデータとほぼ同等の性能を示すが、低品質なデータは性能を著しく低下させることを確認し、分類器の有効性を裏付けた。
• この手法により、ラベル付きデータへの依存が軽減され、低リソース環境においても高品質な並列コーパスマイニングが可能になった。