[論文レビュー] Parallel Corpus Filtering via Pre-trained Language Models

Boliang Zhang, Ajay Nagesh+1 more|arXiv (Cornell University)|May 13, 2020

Natural Language Processing Techniques参考文献 28被引用数 7

ひとこと要約

本稿では、翻訳の妥当性フィルタリングにマルチリンガル BERT を、ドメイン適合性フィルタリングに GPT を用いた、新しい並列コーパスのスクリーニング手法を提案する。WMT 2018 および新たに公開された日本語・中国語のウェブクロールドコーパスにおいて、ベースラインを著しく上回り、教師あり手法と同等の性能を示す、教師なし設定下でも最先端の結果を達成した。

ABSTRACT

Web-crawled data provides a good source of parallel corpora for training machine translation models. It is automatically obtained, but extremely noisy, and recent work shows that neural machine translation systems are more sensitive to noise than traditional statistical machine translation methods. In this paper, we propose a novel approach to filter out noisy sentence pairs from web-crawled corpora via pre-trained language models. We measure sentence parallelism by leveraging the multilingual capability of BERT and use the Generative Pre-training (GPT) language model as a domain filter to balance data domains. We evaluate the proposed method on the WMT 2018 Parallel Corpus Filtering shared task, and on our own web-crawled Japanese-Chinese parallel corpus. Our method significantly outperforms baselines and achieves a new state-of-the-art. In an unsupervised setting, our method achieves comparable performance to the top-1 supervised method. We also evaluate on a web-crawled Japanese-Chinese parallel corpus that we make publicly available.

研究の動機と目的

• 高品質なニューラル機械翻訳システムの学習に適した、ノイズの多いウェブクロールド並列コーパスをスクリーニングする課題に対処すること。
• 日本語-中国語のような低リソース言語対においても、利用可能なクリーンな並列データが限られている状況でも効果的に機能するスクリーニング手法を開発すること。
• マルチリンガル BERT を用いた文対の妥当性と、GPT を用いたドメイン適合性を統合することで、大規模なクリーンな並列コーパスへの依存を減らし、スクリーニング性能を向上させること。
• 非英語言語対翻訳分野の研究を支援するため、大規模で公開可能な日本語-中国語並列コーパスを公開すること。

提案手法

• 30万件の高品質なソフトウェア分野の文対を正例として、同等数の負例を含む合成データセット上でマルチリンガル BERT を微調整し、妥当性フィルタを構築する。
• BERT クラスファイアのソフトマックス出力をスコアとして用い、文対が正当な翻訳ペアかどうかを判定する。
• ドメイン固有の中国語テキスト上で GPT ベースの言語モデルを学習し、ノイズの多いデータ上で KenLM n-gram モデルを学習してドメインフィルタを構築し、文対の言語的自然さに基づいてスコアを付与する。
• 妥当性スコアとドメインスコアを統合して文対をランク付けし、開発セットの性能に基づいて上位 N ペアを選択して NMT モデルの学習に使用する。
• BERT クラスファイアの確率出力にしきい値（例：0.9）を適用することで、スクリーニングにおける正確性と再現率のバランスを取る。
• 強力なベースライン（二重条件付き交差エントロピーによるスクリーニングとマージンベーススコアリング）を再現・比較し、教師ありおよび教師なしの両設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データ上で微調整されたマルチリンガル BERT ベースの分類器は、ノイズの多いウェブクロールドコーパスにおける有効な並列文対を効果的に同定できるか？
• RQ2 GPT ベースのドメインフィルタを組み込むことで、大規模でノイズの多い並列データ上で NMT モデルを学習する際のスクリーニング性能が向上するか？
• RQ3 教師なしスクリーニング手法は、数百万件のクリーンな並列文対に依存する教師あり手法と同等の性能を達成できるか？
• RQ4 精度、再現率、および下流の NMT BLEU スコアの観点から、本手法は既存のスクリーニング技術と比べてどのように優れているか？

主な発見

• 本手法は WMT 2018 ドイツ語-英語並列コーパスのスクリーニング共有タスクにおいて、新たな最先端性能を達成し、強力なベースラインを上回った。
• BERT クラスファイアの出力に 0.9 のしきい値を適用した場合、手動でアノテートされた日本語-中国語テストセットで 97.7% の正確性と 66.9% の再現率を達成した。
• 教師なしバージョンの本手法は、数百万件のクリーンな並列文対に依存するトップの教師あり手法と同等の性能を達成した。
• GPT ベースのドメインフィルタは、モデルが自身のデータサイズを選択できる状況では NMT の性能向上に寄与しなかった。これは、不適切ではあるが並列な文が、有害でも役立つでもないことを示唆している。
• 本手法は、WMT 2018 および自社で構築した日本語-中国語のスクリーニングタスクの両方において、妥当性（二重条件付き交差エントロピー）および Chaudhary et al. (2019) の手法を著しく上回った。
• 著者らは、非英語言語対翻訳分野の今後の研究を支援するため、大規模で公開可能なウェブクロールド日本語-中国語並列コーパスを公開した。