[論文レビュー] Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

Eleftheria Briakou, Colin Cherry+1 more|arXiv (Cornell University)|May 17, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、事前学習中に翻訳ペアに意図せずさらされたことによるインシデントル・ブリンガルィズム（偶然の二か国語習得）が、大規模言語モデルのゼロショット翻訳能力をどのように説明できるかを、PaLMを事例として調査している。PaLMは44か国語で3000万件を超える翻訳ペアにさらされており、これらのインシデントル信号を抽出することで、ゼロショット翻訳の品質が平均14 chrFポイント向上することが明らかになった。これは、事前学習データの構成がモデルの能力に大きく影響することを示している。

ABSTRACT

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.

研究の動機と目的

• PaLMのような大規模言語モデルにおけるゼロショット翻訳能力の起源を調査すること。
• PaLMの訓練データにおけるインシデントル・ブリンガルィズムの程度と性質を定量化すること。
• インシデントル・ブリンガルィズムの内容が翻訳パフォーマンスに与える影響を評価すること。
• インシデントル翻訳ペアを抽出することでゼロショット翻訳品質が向上することを実証すること。

提案手法

• 自動言語タグ付けと定性的分析を組み合わせた混合手法パイプラインを用いて、PaLMの訓練データにおける二か国語コンテンツを検出した。
• クロスリンガル文埋め込み（LABSE）とヒューリスティックフィルタ（例：トークン長、編集距離、言語識別）を用いて、二か国語インスタンスから翻訳ペアを抽出した。
• 抽出された翻訳ペアからデータ駆動型プロンプトを訓練し、ゼロショットおよびフェイシュットプロンプティングを用いてその影響をゼロショット翻訳パフォーマンスで評価した。
• 検出された翻訳ペアを削除することで影響を分離するため、小規模なPaLMバージョン（1Bおよび8Bパラメータ）を用いたアブレーションスタディを実施した。
• 言語ごとの単語語彙と二か国語コンテンツの相関を測定し、データ分布のパターンを評価した。
• ゼロショットおよびフェイシュット翻訳パフォーマンスの一貫性ある評価のため、FLORES-200データセットのスプリットを使用した。

実験結果

リサーチクエスチョン

• RQ1 PaLMの事前学習データにおいて、複数の言語にわたってインシデントル・ブリンガルィズムはどの程度存在するか？
• RQ2 非英語言語において、インシデントル二か国語コンテンツの量は、単語語彙コンテンツとどの程度相関するか？
• RQ3 インシデントル翻訳ペアを抽出することで、PaLMのゼロショット翻訳パフォーマンスが向上するか？
• RQ4 インシデントル翻訳ペアを削除した場合、小規模モデルにおける翻訳品質にどのような影響を与えるか？
• RQ5 モデルスケーリングは、インシデントル・ブリンガルィズムが翻訳パフォーマンスに与える影響をどのように緩和するか？

主な発見

• PaLMは少なくとも44か国語で3000万件を超える翻訳ペアにさらされており、訓練インスタンスの0.34％が少なくとも1つの翻訳ペアを含んでいた。
• ある言語における単語語彙コンテンツの量が、その言語におけるインシデントル二か国語または翻訳コンテンツの量を強く予測する。
• インシデントル翻訳ペアから抽出したデータ駆動型プロンプトを用いることで、英語以外の言語におけるゼロショット翻訳が平均14 chrFポイント向上した。
• 検出された翻訳ペアをアブレーション処理した結果、1BパラメータモデルではゼロショットBLEUスコアが7.4ポイント低下し、5ショット設定では5.9ポイント低下した。
• モデルスケーリングに伴い、インシデントル・ブリンガルィズムの影響は低下するが、依然として有意であり、8Bパラメータモデルでは残留利得が+2〜3 BLEUにとどまった。
• 調査した言語のすべてに、検出可能なインシデントル翻訳信号が存在したため、真にゼロショットの翻訳は存在しなかった。