[論文レビュー] MTet: Multi-domain Translation for English and Vietnamese

Chinh Ngo, Trieu H. Trinh+6 more|arXiv (Cornell University)|Oct 11, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、英語-ベトナム語翻訳のための、公開済みで最大規模の多言語並列コーパス「MTet」を紹介する。MTetは、法律やバイオメディスインの分野を含む多様な分野をカバーする420万件の高品質な文対を含む。研究者らはまた、英語-ベトナム語向けに最初の事前学習済みTransformerベースのモデル「EnViT5」をリリースした。このモデルは、MTetとphoMTデータで微調整された結果、最先端の性能を達成し、最大で2 BLEUポイントの向上を示した。また、従来のモデルと比較して1.6倍小さいサイズである。

ABSTRACT

We introduce MTet, the largest publicly available parallel corpus for English-Vietnamese translation. MTet consists of 4.2M high-quality training sentence pairs and a multi-domain test set refined by the Vietnamese research community. Combining with previous works on English-Vietnamese translation, we grow the existing parallel dataset to 6.2M sentence pairs. We also release the first pretrained model EnViT5 for English and Vietnamese languages. Combining both resources, our model significantly outperforms previous state-of-the-art results by up to 2 points in translation BLEU score, while being 1.6 times smaller.

研究の動機と目的

• 低リソース言語対、特に英語-ベトナム語対の高品質な並列データの不足に応えるために、大規模かつマルチドメインの並列コーパスを構築すること。
• 洗練された高品質なデータと新たにリリースされた事前学習モデルを組み合わせることで、英語-ベトナム語のニューラル機械翻訳性能を向上させること。
• マルチドメインの学習データが、多様な分野にわたるモデルの汎化性能と性能向上に顕著な寄与を果たすことを示すこと。
• 低リソース機械翻訳分野の研究と応用を前進させるために、公開可能で高品質なベンチマークデータセットとモデルを提供すること。

提案手法

• MTetコーパスは、OPUSから得た複数の既存の並列コーパス（TEDトークス、Wikipedia、OpenSubtitles、CCAlign）を収集・統合し、ベースのTransformerモデルを用いた追加のフィルタリングによって品質を保証した。
• 人間によるアノテーションのクラウドソーシングを活用して、4つの異なる分野で言語的および分野固有の正確性を保証するための、マルチドメインのテストセットを構築した。
• 英語-ベトナム語翻訳に特化して開発された新しい事前学習済みエンコーダ-デコーダモデル「EnViT5」は、非対応の大規模テキストを用いたモノリンガル事前学習を経て、MTetおよびphoMTデータセットで微調整された。
• 620万文対（MTet + phoMT）の統合学習データセットを用いてモデルを微調整し、データ拡張と分野多様性を活用して耐性を向上させた。
• 単一ドメインとマルチドメインの学習データを比較評価した。同じモデルアーキテクチャと学習設定を用いることで、ドメイン多様性の影響を明確に分離した。
• 時間予算分析を実施し、自己教師あり事前学習と教師ありデータ拡張の効率性を比較した。単位時間あたりのトレーニング時間とデータ量に対するBLEUスコアの向上を測定した。

実験結果

リサーチクエスチョン

• RQ1 多様でマルチドメインの並列コーパスで学習させることで、単一ドメインデータと比較して、英語-ベトナム語機械翻訳の汎化性能と性能が向上するか？
• RQ2 新たに事前学習された多言語モデル（EnViT5）が、MTetのような大規模で高品質なデータセットで微調整された場合、既存の最先端モデルを上回る性能を示せるか？
• RQ3 マルチドメインデータで学習させたモデルと、単一ドメイン（例：法律やTEDトークス）で学習させたモデルを、マルチドメインテストセットで評価した場合、性能に差が出るか？
• RQ4 低リソース言語対の翻訳性能向上において、教師ありデータ収集によるデータ拡張と自己教師あり事前学習の相対的な効率性はどの程度か？
• RQ5 高品質で技術的分野（例：医療・法曹分野）のテキストを含めることで、低リソース翻訳タスクにおけるモデル性能がどの程度向上するか？

主な発見

• MTetコーパスには、法律やバイオメディスインの分野を含む、420万件の高品質でマルチドメインの文対が含まれており、これら技術分野は既存のコーパスでしばしば無視されている。
• MTetとphoMT（合計620万文対）で微調整されたEnViT5-baseモデルは、英語-ベトナム語翻訳タスクで45.47の新しい最先端BLEUスコアを達成した。これは、従来の最先端モデル比で2ポイントの向上である。
• パラメータ数を275M（27500万）にまで1.6倍小さくした（例：mBARTの448Mと比較）が、性能は維持または向上させ、より高速な推論が可能になった。
• マルチドメインデータで学習させることで、顕著な汎化性能の向上が得られた。30万件のマルチドメイン学習データセットは、純粋なTEDトークスや純粋な法律データセットよりも、テストセットの全分野（法律分野を含む）で優れた性能を示した。
• 非対応の二言語テキストで事前学習すると、あるデータ閾値を超えると収益が逓減する。目標BLEUスコア34に達するまでに、教師ありデータ拡張の性能に追いつくには、1000倍のデータ量と2000倍のトレーニング時間が要された。
• 本研究は、特に分野多様性を重視する場合、大規模な自動クローリングよりも、高品質で洗練されたデータ収集が、翻訳性能向上においてより効果的かつ効率的であることを確認した。