[論文レビュー] ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback

Wenxiang Jiao, Jen-tse Huang+6 more|arXiv (Cornell University)|Apr 5, 2023

Topic Modeling被引用数 6

ひとこと要約

ParroTは、翻訳、対照的、誤り誘導型の3種類の指示を用いて、人間が書いた翻訳とフィードバックに基づき微調整することで、リアルタイムチャット翻訳用にオープンソースの大規模言語モデル（LLM）を強化する。特に誤り誘導型微調整により顕著な性能向上を達成し、低品質な人間による翻訳から学習することで、標準的な指示微調整を超える翻訳品質の向上が可能であることが示された。

ABSTRACT

Large language models (LLMs) like ChatGPT have exhibited remarkable abilities on a wide range of natural language processing~(NLP) tasks, including various machine translation abilities accomplished during chat. However, these models are only accessible through restricted APIs, which creates barriers to new research and advancements in the field. Therefore, we propose ParroT, a framework to enhance and regulate the translation abilities during chat based on open-source LLMs (e.g., LLaMA), human-written translation and feedback data. Specifically, ParroT reformulates translation data into the instruction-following style, and introduces a "$\mathbf{Hint}$" field for incorporating extra requirements to regulate the translation process. Accordingly, we propose three instruction types for finetuning ParroT models, including translation instruction, contrastive instruction, and error-guided instruction. Experiments on Flores subsets and WMT22 test sets suggest that translation instruction improves the translation performance of vanilla LLMs significantly while error-guided instruction can lead to further improvement, which demonstrates the importance of learning from low-quality translations annotated by humans. We also demonstrate the potential of automatic evaluation tools in providing quality information of translations, when constructing error-guided instructions for directions that lack human annotation data. Please refer to our Github project for more implementation details: https://github.com/wxjiao/ParroT

研究の動機と目的

• 対話的チャット環境におけるオープンソースLLMの翻訳能力を強化・制御するフレームワークを開発すること。
• ChatGPT や GPT-4 といった特許付きモデルへのアクセス制限を克服し、オープンソースモデルを用いて高品質な翻訳を実現すること。
• 人間が書いた翻訳データと人間のフィードバックを活用して、LLMを人間の好みや翻訳品質に適合させるための微調整を行うこと。
• 翻訳、対照的、誤り誘導型の異なる指示タイプが翻訳性能をどのように向上させるかを調査すること。
• 人間のアノテーションが利用できない状況で、自動評価ツール（例：COMET）が誤り誘導型の指示を生成する可能性を調査すること。

提案手法

• 翻訳データを再形式化し、追加の制約を含む「ヒント」フィールドを備えた指示従い形式に変換することで、翻訳の制御を可能にする。
• 3種類の指示タイプを導入する：(1) 基本的な翻訳用の翻訳指示、(2) 2つの翻訳を比較し、好ましい出力を示す対照的指示、(3) 人間がアノテートした誤りをヒントとして使用する誤り誘導型指示。
• WMT検証データおよびMQM人間評価データを用いて、オープンソースLLM（LLaMAおよびBLOOM）を指示微調整する。
• 過学習を防ぎ、一般化性能を向上させるために、低ランク適応（LoRA）を用いたパラメータ効率の良い微調整を実施する。
• 人間による誤りアノテーションデータが不足する言語対に対しては、自動評価指標（例：COMET）を活用して、合成された誤り誘導型指示を生成する。
• 自動評価および人間評価指標を用いて、FloresサブセットおよびWMT22テストセットで、生成されたParroTモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間が書いた翻訳に基づく指示微調整は、チャット環境におけるオープンソースLLMの翻訳性能を顕著に向上させるか？
• RQ2 誤り誘導型指示としての人のフィードバックを組み込むことで、翻訳品質に測定可能な向上が見られるか？
• RQ3 対照的指示は、LLMが高品質と低品質の翻訳を区別する能力を向上させるのにどの程度効果的か？
• RQ4 人間のアノテーションが欠落している場合、COMET などの自動評価ツールが信頼性のある誤り信号を生成し、効果的な誤り誘導型指示を構築できるか？
• RQ5 パラメータ効率の良い微調整（LoRA）は、低リソース言語対および高リソース言語対の両方で性能をどの程度維持できるか？

主な発見

• 翻訳指示は、特に英語から他の言語への翻訳方向において、アンタガールLLMの翻訳性能を顕著に向上させる。
• 誤り誘導型指示は、モデルが誤りのない翻訳を生成できるようにすることで、翻訳品質をさらに向上させる。これは、低品質な人間による出力から学習することが、高品質な翻訳生成に価値を持つことを示している。
• 対照的指示は性能向上をもたらさなかった。これは、WMTシステム間の質の差が微細で、最適でない指示フォーマットが原因と考えられる。
• LoRAを用いた微調整は過学習を防ぎ、主要言語で優れた性能を達成するが、低リソース言語では学習が遅くなる傾向がある。
• COMET などの自動評価ツールは、人間による誤りアノテーションデータが欠落している状況でも、誤り誘導型指示構築のための品質信号を効果的に生成できる。
• ParroTフレームワークは、オープンソースLLMが高品質でインタラクティブな翻訳をチャット環境で実行できることを実証し、特許付きモデルと同等の能力を有することが示された。