[論文レビュー] Prompting PaLM for Translation: Assessing Strategies and Performance

David Vilar, Markus Freitag+4 more|arXiv (Cornell University)|Nov 16, 2022

Natural Language Processing Techniques被引用数 15

ひとこと要約

本稿は、機械翻訳におけるPaLMの少しだけの例提示戦略を評価し、例の質が選択手法や入力類似性よりも重要であることを明らかにした。最近のWMTテストセット、BLEURT、人的評価を用いて、PaLMの翻訳性能は優れているものの、教師ありSOTAシステムにまだ劣っており、固定された高品質なプロンプトがランダム選択を上回ることを示した。

ABSTRACT

Large language models (LLMs) that have been trained on multilingual but not parallel text exhibit a remarkable ability to translate between languages. We probe this ability in an in-depth study of the pathways language model (PaLM), which has demonstrated the strongest machine translation (MT) performance among similarly-trained LLMs to date. We investigate various strategies for choosing translation examples for few-shot prompting, concluding that example quality is the most important factor. Using optimized prompts, we revisit previous assessments of PaLM's MT capabilities with more recent test sets, modern MT metrics, and human evaluation, and find that its performance, while impressive, still lags that of state-of-the-art supervised systems. We conclude by providing an analysis of PaLM's MT output which reveals some interesting properties and prospects for future work.

研究の動機と目的

• PaLMの機械翻訳における少しだけの例提示戦略を体系的に評価すること。
• 例の選択戦略と例の質のどちらが翻訳品質により大きな影響を与えるかを評価すること。
• 最新のテストセット、BLEURT、人的評価を用いて、PaLMのMTパフォーマンスを再評価し、SOTAシステムと公平な比較を確立すること。
• トレーニングデータのオーバーラップが自動評価指標スコアおよびシステム比較に与える影響を分析すること。
• 固定された高品質なプロンプトが、動的でランダムに選択されたプロンプトを上回る可能性があるかを検討すること。

提案手法

• 文の埋め込みに基づくランダム選択およびk近傍法（kNN）選択を用いた、さまざまな例の選択戦略を適用した固定プロンプトテンプレートを使用した。
• データ漏洩を避けるために、最近のWMTテストセット（ドイツ語/中国語はWMT21、フランス語はWMT14）を用いてパフォーマンスを評価した。
• BLEUに代わるBLEURTを主な自動評価指標として採用し、人的判断とより整合性の高い結果を得た。
• 詳細なエラー分類を含む専門家による人的評価を実施し、指標を超えた翻訳品質の分析を実施した。
• 5回の実行にわたり、ホールドアウトデータ上で最大尤度確率に基づいて選択された固定プロンプトとランダムプロンプト選択を比較した。
• PaLMのトレーニングデータとテストセットのオーバーラップがBLEUおよびBLEURTスコアに与える影響を分析し、元のテストセット、クリーンなテストセット、オーバーラップのないテストセットの状況を区別した。

実験結果

リサーチクエスチョン

• RQ1 PaLMの翻訳提示において、例の質が選択戦略や入力類似性よりも重要であるか？
• RQ2 最新のテストセットと指標を用いて評価した場合、PaLMの少しだけの例提示翻訳パフォーマンスは、最先端の教師ありシステムと比べてどうか？
• RQ3 テストセットの参照とPaLMのトレーニングデータのオーバーラップが自動評価指標スコアにどれほどバイアスをもたらすか？
• RQ4 固定された高品質なプロンプトが、動的でランダムに選択されたプロンプトを上回ることができるか？
• RQ5 PaLMの翻訳における特徴的な誤りパターンは何か？また、教師ありシステムとの比較ではどうか？

主な発見

• PaLMの翻訳における少しだけの例提示では、例の質が選択戦略や入力類似性よりも最も重要な要因である。
• PaLMの翻訳パフォーマンスは印象的ではあるが、最近のWMTテストセットとBLEURT、人的評価を用いた評価では、教師ありSOTAシステムにまだ劣っている。
• ランダムなプロンプト選択はパフォーマンスのばらつきを引き起こす：5回の実行で1,000文中516文がBLEURTスコアで1ポイント以上の差を示し、例の選択に非常に敏感であることが示された。
• ホールドアウトデータ上で最大尤度確率に基づいて選択された固定プロンプトは、すべての言語対で5回のランダムプロンプト選択の平均を上回るか、同等のパフォーマンスを示し、より安全で信頼性の高い戦略であることが示唆された。
• テストセットとPaLMのトレーニングデータのオーバーラップにより、元のテストセットとクリーンなテストセットの間で2.6 BLEUポイントの差が生じたが、その影響は想定よりも小さく、システム間のパフォーマンス差の全貌を説明するものではなかった。
• BLEURTはBLEUよりもオーバーラップに敏感でなかった。オーバーラップに起因するスコア差は約0.3 BLEURTポイントであり、比較評価においてより頑健である可能性がある。