[論文レビュー] Building Machine Translation Systems for the Next Thousand Languages

Ankur Bapna, Isaac Caswell+22 more|arXiv (Cornell University)|May 9, 2022

Natural Language Processing Techniques被引用数 43

ひとこと要約

この論文は、ウェブで収集したモノ言語データを活用して1000以上の言語に対するMTシステムを構築する方法を説明し、多言語モデルとデータフィルタリング、評価の洞察、蒸留を活用して、Google翻訳に24の新しい言語を追加した結果を示します。

ABSTRACT

In this paper we share findings from our effort to build practical machine translation (MT) systems capable of translating across over one thousand languages. We describe results in three research domains: (i) Building clean, web-mined datasets for 1500+ languages by leveraging semi-supervised pre-training for language identification and developing data-driven filtering techniques; (ii) Developing practical MT models for under-served languages by leveraging massively multilingual models trained with supervised parallel data for over 100 high-resource languages and monolingual datasets for an additional 1000+ languages; and (iii) Studying the limitations of evaluation metrics for these languages and conducting qualitative analysis of the outputs from our MT models, highlighting several frequent error modes of these types of models. We hope that our work provides useful insights to practitioners working towards building MT systems for currently understudied languages, and highlights research directions that can complement the weaknesses of massively multilingual models in data-sparse settings.

研究の動機と目的

• 限定的な並列データしかない1000以上の言語に対して実用的な MT システムを構築する課題に取り組む。
• 言語識別と堅牢なフィルタリングを用いて1500以上の言語の高品質なモノ言語ウェブデータを作成する。
• 大規模な多言語学習とデータ拡張を活用してロングテール言語の実用的な MT モデルを開発する。
• 従来の MT 評価指標の限界を評価し、mega-m 多言語モデルのエラーモードを分析する。
• Google Translate を24言語追加して実世界の影響を示す。

提案手法

• CLD3と半教師付き LangID (SSLID) を用いて LangID モデルを1500+言語へスケールさせる。
• 文書整合性・語彙リスト・Tf-iif・異常検出ベースの手法でウェブデータをフィルタリングし、高精度のモノ言語コーパスを作成する。
• 偽陰性率で言語をクラスタリングし、方言や関連品種にわたるリコールを維持する。
• 約100の高資源言語の監督データと1000+のモノ言語データを用いて、超大規模な多言語 MT モデルを訓練する。
• 選択言語の微調整のために大規模データ拡張・自己学習・逆翻訳を適用する。
• 蒸留を調査し、teacher-student の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 高品質な言語内コンテンツを含む1500+言語用のクリーンでスケーラブルなウェブ収集データセットをどのように構築できるか？
• RQ2 高資源 parallelデータと広範なモノ言語データで訓練された massively multilingual MT モデルは1000+の長尾言語に対して実用的な翻訳を提供できるか？
• RQ3 長尾言語向けの現在の評価指標の限界は何か、これらのモデルに見られるエラーモードは何か？
• RQ4 データフィルタリング・フィルタリング閾値・蒸留などの実用的な手法は、支援されていない言語の翻訳品質と頑健性をどのように向上させるか？
• RQ5 Google Translate のような本番MTシステムに新しい言語を追加する影響は何か？

主な発見

• MT 研究とデプロイのために、1503-language のモノ言語データセットと112 言語にわたる並列コーパスを作成した。
• 大容量の超多言語モデルと1000-languageモノ言語データは、自己学習と逆翻訳と組み合わせることでロングテール言語の翻訳品質を向上させる。
• Tf-iifベースのフィルタリングとリコールを preserving する閾値を組み合わせることで、標的言語のリコールを維持しつつノイズの多いウェブデータを削減する。
• 蒸留により小型モデルでも合理的な性能を達成できるが、師弟モデル間にはギャップが残る。
• Google Translate に24言語を追加することで実践的なデプロイメントの影響を示し、技術的に過小表現されている地域の言語カバレッジを広げる。