[論文レビュー] JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus

Makoto Morishita, Katsuki Chousa+2 more|arXiv (Cornell University)|Feb 25, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿では、PDFやWordドキュメントを含む最新の技術を用いて再クローリングした結果、2100万以上の固有の文ペアを含む大規模な英語・日本語並列コーパス「JParaCrawl v3.0」を紹介する。このコーパスは、多様な分野でニューラル機械翻訳の性能を著しく向上させ、特にCOVID-19のような最近のトピックにおいて、以前のバージョンを上回る性能を示している。

ABSTRACT

Most current machine translation models are mainly trained with parallel corpora, and their translation accuracy largely depends on the quality and quantity of the corpora. Although there are billions of parallel sentences for a few language pairs, effectively dealing with most language pairs is difficult due to a lack of publicly available parallel corpora. This paper creates a large parallel corpus for English-Japanese, a language pair for which only limited resources are available, compared to such resource-rich languages as English-German. It introduces a new web-based English-Japanese parallel corpus named JParaCrawl v3.0. Our new corpus contains more than 21 million unique parallel sentence pairs, which is more than twice as many as the previous JParaCrawl v2.0 corpus. Through experiments, we empirically show how our new corpus boosts the accuracy of machine translation models on various domains. The JParaCrawl v3.0 corpus will eventually be publicly available online for research purposes.

研究の動機と目的

• 大規模で公開可能な英語・日本語並列コーパスの不足が翻訳モデルの性能を制限するという問題に対処すること。
• 最新のウェブクロールコンテンツを用いてトレーニングデータを拡張することで、低リソース言語対の機械翻訳品質を向上させること。
• 前回のJParaCrawlコーパスを、強化されたデータ収集およびフィルタリング技術を用いて更新・拡張すること。
• 新しいコーパスが多様な分野やテストセットにおける翻訳精度に与える影響を実証的に検証すること。
• 今後の英語・日本語機械翻訳分野の研究開発を支援するため、JParaCrawl v3.0を公開すること。

提案手法

• CommonCrawlアーカイブを再クローリングし、HTMLページに加え、PDFやWordドキュメントを含む多言語ウェブコンテンツを収集した。
• 多言語文埋め込みを用いたアラインメント手法を適用し、言語間の並列文ペアを同定した。
• ノイズが多い、低品質、または非並列な文ペアを除去するためのフィルタリングパイプラインを実装した。
• 32,000語彙のサブワードモデルを用いたsentencepieceトークニゼーションを実施し、トレーニングデータを準備した。
• fairseqツールキットを用いて、小規模、ベース、大規模の設定を持つTransformerベースのニューラル機械翻訳モデルをトレーニングした。
• 一貫性を保つためにNFKC正規化を適用し、sacreBLEUを用いてWMT、IWSLT、ASPEC、JESC、およびビジネス対話の多様なテストセットでモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 より大規模かつ最新の並列コーパスは、多様な分野において英語・日本語および日本語・英語のニューラル機械翻訳性能を顕著に向上させるか？
• RQ2 JParaCrawl v3.0は、以前のバージョンやドメイン特化トレーニングデータと比較して、BLEUスコアの向上にどの程度寄与するか？
• RQ3 新しく出現した用語、特にCOVID-19関連用語の翻訳品質は、新しいコーパスのおかげでどの程度向上するか？
• RQ4 ニュース、字幕、科学論文、対話など低リソースドメインの性能向上に、このコーパスは寄与するか？
• RQ5 PDFやWordなどの非HTMLフォーマットの含めることで、最終コーパスのサイズと品質に有意義な貢献があるか？

主な発見

• JParaCrawl v3.0コーパスは21,481,513個の固有文ペアを含み、前回のv2.0バージョンの2倍以上に相当する。
• JParaCrawl v3.0でトレーニングされたモデルは、15個の英語・日本語テストセットのうち13個で最高のBLEUスコアを達成し、すべての日本語・英語テストセットでも最高スコアを記録した。
• v3.0モデルはWMT2021ニュース翻訳タスクで特に優れた改善を示した。これは、旧コーパスに十分に反映されていなかった最近の用語（例：'COVID-19'）が含まれたためと推定される。
• WMT2021テストセットからの翻訳例では、v3.0は「濃厚接触者」を正しく「close contacts」と翻訳したが、v1.0およびv2.0は誤って「strong contact person」と翻訳していた。
• 科学論文、字幕、ニュース、対話など複数の分野で一貫した改善が確認され、本コーパスの広範な適用可能性が裏付けられた。
• 著者らは、新コーパスが現代の言語使用を捉えるのに特に効果的であることを確認し、定期的なコーパスの更新の必要性を裏付けた。