[論文レビュー] JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus

Makoto Morishita, Jun Suzuki+1 more|arXiv (Cornell University)|Nov 25, 2019

Natural Language Processing Techniques参考文献 24被引用数 21

ひとこと要約

本稿では、Webクローリングと自動文書対応により構築された、870万を超える文のペairを含む大規模なWebベースの英語・日本語並列コーパス「JParaCrawl」を紹介する。このコーパスを用いた前学習により、微調整に要する時間を著しく短縮しつつ、特にドメイン特化データを組み合わせた場合、初期学習から訓練したモデルと同等またはそれ以上の性能を達成できる。

ABSTRACT

Recent machine translation algorithms mainly rely on parallel corpora. However, since the availability of parallel corpora remains limited, only some resource-rich language pairs can benefit from them. We constructed a parallel corpus for English-Japanese, for which the amount of publicly available parallel corpora is still limited. We constructed the parallel corpus by broadly crawling the web and automatically aligning parallel sentences. Our collected corpus, called JParaCrawl, amassed over 8.7 million sentence pairs. We show how it includes a broader range of domains and how a neural machine translation model trained with it works as a good pre-trained model for fine-tuning specific domains. The pre-training and fine-tuning approaches achieved or surpassed performance comparable to model training from the initial state and reduced the training time. Additionally, we trained the model with an in-domain dataset and JParaCrawl to show how we achieved the best performance with them. JParaCrawl and the pre-trained models are freely available online for research purposes.

研究の動機と目的

• 神経機械翻訳の進展を妨げる公開可能な英語・日本語並列コーパスの不足に対処すること。
• Webから高カバレッジで多様なドメインをカバーする並列文をスケーラブルに抽出する手法を開発すること。
• JParaCrawlを用いた前学習により、下流のドメイン特化タスクにおける微調整を迅速化するNMTモデルを構築すること。
• JParaCrawlで前学習したモデルが、初期学習から訓練したモデルと比較して翻訳品質を向上させるとともに、学習時間を短縮できることを実証すること。
• JParaCrawlおよび前学習済みモデルを研究用にオープンリソースとして公開すること。

提案手法

• Common CrawlデータのWebクローリングにより、英語・日本語並列コンテンツを有する可能性のある候補ドメインを特定する。
• 多言語文埋め込みモデルとクロスアテンション機構を用いて、言語間の文レベルでのビテキスト対応を実施する。
• 文の対応モデルの信頼度スコア、長さ比、言語的特徴を組み合わせて、ノイズの多い文ペアをフィルタリングする。
• JParaCrawl上でニューラル機械翻訳モデルを訓練し、転移学習用の前学習モデルを生成する。
• ASPECなどのドメイン特化データセットを用いて、前学習モデルの微調整を行い、専門ドメインに適応させる。
• ASPECを含む標準ベンチマークでBLEUスコアを評価し、異なる学習戦略の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Webから抽出した大規模な並列コーパスは、英語・日本語のような低リソース言語対の神経機械翻訳性能を向上させることができるか？
• RQ2 JParaCrawlで前学習することで、翻訳品質を維持または向上させつつ、微調整に要する時間をどの程度短縮できるか？
• RQ3 JParaCrawlとドメイン特化コーパス（例：ASPEC）を組み合わせた場合、初期学習から訓練したモデルと比較して、BLEUスコアおよび学習効率はどのように変化するか？
• RQ4 JParaCrawlは、科学的テキストなど専門ドメイン向けの強力な汎用前学習モデルとして機能できるか？
• RQ5 JParaCrawlのみで学習したモデルは、ドメイン特化データで微調整したモデルと比較して、ドメイン固有用語の翻訳性能はどの程度か？

主な発見

• JParaCrawlは、リリース時時点で公開可能な英語・日本語並列コーパスとして最大規模の870万を超える文ペアを含む。
• JParaCrawlで前学習したモデルをドメイン特化データで微調整することで、学習時間を短縮しつつ、初期学習から訓練したモデルと同等またはそれ以上のBLEUスコアを達成した。
• ASPECで微調整したモデルは、英語→日本語方向で43.5のBLEUスコアを達成し、データオーバースマッピングを用いたASPECのみで学習したモデルの44.3を上回った。
• 日本語→英語方向では、微調整済みモデルが29.3のBLEUスコアを達成し、ASPECのみで学習したモデルの28.7を上回った。
• JParaCrawlでの前学習のみでは、「large eddy simulation」などのドメイン固有用語を正しく翻訳できなかったが、微調整後に正しく翻訳できるようになった。これは、一般Webデータのみでドメイン固有知識が十分に捉えられていないことを示している。
• JParaCrawlとインドメインデータ（ASPEC）を組み合わせ、前学習／微調整を実施したモデルが最高の性能を示し、JParaCrawlを用いた転移学習の有効性を実証した。