[論文レビュー] BigTranslate: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

Wen Yang, Chong Li+2 more|arXiv (Cornell University)|May 29, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

BigTranslateは、3段階の訓練を通じて102言語にわたる多言語翻訳機能をLLaMA-13B言語モデルに追加する。まず中国語単語文書データでの継続的事前学習、次に大規模な多言語並列コーパスでの継続的事前学習、最後に多言語翻訳指示による指示チューニングを行う。このモデルは、Google TranslateやOpenAIのChatGPTと同等の性能を達成し、GPT-4評価において8つの言語ペアでChatGPTを上回る。

ABSTRACT

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTranslate which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTranslate is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTranslate model. The preliminary experiments on multilingual translation show that BigTranslate performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTranslate model and hope it can advance the research progress.

研究の動機と目的

• LLaMAのように英語優位のLLMがもともと20言語しかサポートしないのを補い、多言語翻訳能力を拡張すること。
• 100以上の自然言語、特に低リソース言語を含む、1つのLLMが高品質な翻訳を実行できるようにすること。
• 単語文書、対訳文書、指示チューニングを組み合わせた3段階の訓練プロセスにより翻訳品質を向上させること。
• 自動評価指標とGPT-4を人間の評価者に似せた評価者として用いて、最先端のシステム（Google Translate や ChatGPT）と比較してモデルの性能を評価すること。

提案手法

• 中国語単語文書の大量データを用いたLLaMA-13Bの継続的事前学習により、中国語の理解力を強化する。
• 102の自然言語をカバーする大規模な並列データセットを用いたさらなる継続的事前学習を、多言語一般化を向上させるためにカリキュラム学習戦略を用いて実施する。
• 多様な多言語翻訳指示による指示チューニングにより、モデルをゼロショット翻訳タスクに適合させ、ゼロショット一般化性能を向上させる。
• GPT-4を人間の評価者に似せたジャッジとして用い、スコアシステム（0〜5）を提示ベースにすることで、翻訳の意味的類似性とスタイルの一貫性を評価する。
• 70の言語ペアと標準化されたプロンプトを用いたバランスの取れた評価設定により、モデル間の信頼性ある比較を確保する。
• GitHubを通じたモデル公開により、オープンリサーチとコミュニティの採用を促進する。

実験結果

リサーチクエスチョン

• RQ1 20言語に限定されていたもともとの大規模言語モデルが、100以上の言語に翻訳機能を効果的に拡張できるか。
• RQ2 微調整されたLLMベースの翻訳システムの性能が、Google Translate や ChatGPT といった商用システムと比較して、多様な言語ペアでどの程度優れているか。
• RQ3 指示チューニングが低リソース環境下でのゼロショット多言語翻訳能力をどの程度向上させられるか。
• RQ4 対訳文書（bitext）を用いた多言語事前学習が、高リソース言語から低リソース言語への知識転送を効果的に実現できるか。

主な発見

• GPT-4による評価において、BigTranslateは広範な言語でGoogle Translate や OpenAIのChatGPTと同等の翻訳品質を達成した。
• 70の言語ペアのうち28（40％）で、BigTranslateはGPT-4評価スコア3.5以上を獲得し、良好または優れた翻訳品質を示した。
• GPT-4評価において、8つの言語ペアでBigTranslateがChatGPTを上回り、特定の多言語シナリオで優れた性能を示した。
• 多くの言語ペアにおいて、BigTranslateとGoogle Translateの性能差が顕著に縮小されており、強力な競争力を持つことが示された。
• チベット語やモンゴル語のような低リソース言語においても、BigTranslateは強力な能力を示し、高リソース言語からの知識転送が効果的であることが示唆された。
• 単語文書、対訳文書、指示チューニングの3段階訓練パイプラインが、元のLLaMAモデルをはるかに超える多言語翻訳能力の拡張に有効であることが実証された。