[論文レビュー] Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models

Ratish Puduppully, Kunchukuttan, Anoop+3 more|arXiv (Cornell University)|May 22, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、関連語族間の低資源機械翻訳のための分解型プロンプト手法であるDecoMTを提案する。文を語彙チャンクに分割し、それぞれを独立的かつ文脈的に翻訳することで、性能を向上させる。BLOOM や mT5 といった強力な few-shot ベースラインを上回り、複数の言語対で平均 8 chrF++ の向上を達成した。

ABSTRACT

This study investigates machine translation between related languages i.e., languages within the same family that share linguistic characteristics such as word order and lexical similarity. Machine translation through few-shot prompting leverages a small set of translation pair examples to generate translations for test sentences. This procedure requires the model to learn how to generate translations while simultaneously ensuring that token ordering is maintained to produce a fluent and accurate translation. We propose that for related languages, the task of machine translation can be simplified by leveraging the monotonic alignment characteristic of such languages. We introduce DecoMT, a novel approach of few-shot prompting that decomposes the translation process into a sequence of word chunk translations. Through automatic and human evaluation conducted on multiple related language pairs across various language families, we demonstrate that our proposed approach of decomposed prompting surpasses multiple established few-shot baseline approaches. For example, DecoMT outperforms the strong few-shot prompting BLOOM model with an average improvement of 8 chrF++ scores across the examined languages.

研究の動機と目的

• データの不均衡や言語的インダクティブバイアスの欠如により、しばしば性能が低い関連語族間の低資源機械翻訳の課題に対処すること。
• 標準的な few-shot プロンプトが、関連語族対で共通する語順の保存（モノトニックアライメント）を十分に活用できないという限界を克服すること。
• 段階的な文脈に配慮したチャンク翻訳を用いて、翻訳を管理しやすいサブタスクに分解することで、翻訳の流暢さと正確性を向上させること。
• インド・ヨーロッパ語族、ミャンマー語族、インド・アーリアン語族など多様な語族対を含む、多様な語族で低資源環境下でも堅牢な性能を示すこと。
• 再順序付けの負担を軽減しながら推論効率を維持する、実用的でスケーラブルなプロンプトフレームワークを提供すること。

提案手法

• 翻訳を簡略化するため、文を重複のない語彙チャンクに分割する。
• 少数の例文翻訳を用いた few-shot プロンプトにより、各チャンクを独立して翻訳する。
• 以前に翻訳されたチャンクと元の文脈に基づいて、以降のチャンクを生成する文脈に配慮した自己回帰的デコード戦略を用いる。
• 関連語族の特徴たる語順の保存（モノトニックアライメント）を活用し、チャンク単位の翻訳によって再順序付けを最小限に抑える。
• 両翻訳段階（独立翻訳および文脈的翻訳）で mT5 をエンコーダ・デコーダ型の大規模言語モデルとして採用する。
• 2段階のプロンプトパイプラインを設計する：(1) チャンクの独立翻訳、(2) 以前の翻訳結果と元の文脈を用いた段階的文脈的精練。

実験結果

リサーチクエスチョン

• RQ1 関連語族のモノトニックアライメントを活用することで、分解型プロンプトは低資源言語対の翻訳品質を向上させ得るか？
• RQ2 翻訳品質と推論効率の観点から、DecoMT は標準的な few-shot プロンプトおよび逐次的自己回帰的プロンプトと比べてどのように差をつけるか？
• RQ3 5-shot の設定と比較して、1-shot や 0-shot の設定では DecoMT の性能が著しく低下するか？
• RQ4 特に長文や複雑な文において、チャンク化戦略はモデルの再順序付けの必要性をどの程度軽減するか？
• RQ5 インド・アーリアン語族、ドラヴィダ語族、ヨーロッパ語族対など多様な語族に一般化可能か？

主な発見

• DecoMT は、評価されたすべての言語対で、強力な BLOOM few-shot プロンプ卜ベースラインを平均 8 chrF++ 上回った。
• 1-shot の設定でも、DecoMT は高い性能を維持するが、SAP や標準的プロンプトは著しく性能を落とす。例として、hin→tel の SAP では、5-shot 時の spBLEU 19.3 が 1-shot 時に 1.3 に低下した。
• DecoMT は高資源環境でも堅牢な結果を達成しており、低資源設定に限定された応用性を超えて広く適用可能であることが示された。
• 逐次的自己回帰的プロンプト（SAP）と比較して、推論時間を短縮した。文脈的翻訳には、m（チャンクサイズ）で割った T/m 回の前向きパスで十分である。
• mT5 を用いた 0-shot 翻訳では、BLEU スコアがほぼ 0 に近づき、モデルが明示的な few-shot 例なしでは翻訳タスクを認識できないことが示された。
• 人的評価により、DecoMT は特に文法的構造や語順の保持において、ベースラインよりもより流暢で正確な翻訳を生成することが確認された。