[論文レビュー] Gradable ChatGPT Translation Evaluation

Hui Jiao, Bei Peng+3 more|arXiv (Cornell University)|Jan 18, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、翻訳のスタイル、分野、詳細度の観点からプロンプトを分類することで翻訳品質を向上させる、ChatGPT翻訳用の統合的で段階的なプロンプト分類法T3Sを提案する。プロンプトを体系的に整理することで、医療や法的分野を含む多様な翻訳タスクにおいてChatGPTのパフォーマンスが向上し、構造化されたプロンプトが標準プロンプトに比べて出力の正確性と一貫性を著しく向上させることを示している。

ABSTRACT

ChatGPT, as a language model based on large-scale pre-training, has exerted a profound influence on the domain of machine translation. In ChatGPT, a "Prompt" refers to a segment of text or instruction employed to steer the model towards generating a specific category of response. The design of the translation prompt emerges as a key aspect that can wield influence over factors such as the style, precision and accuracy of the translation to a certain extent. However, there is a lack of a common standard and methodology on how to design and select a translation prompt. Accordingly, this paper proposes a generic taxonomy, which defines gradable translation prompts in terms of expression type, translation style, POS information and explicit statement, thus facilitating the construction of prompts endowed with distinct attributes tailored for various translation tasks. Specific experiments and cases are selected to validate and illustrate the effectiveness of the method.

研究の動機と目的

• 構造的でない、または最適でないプロンプトによるChatGPTの翻訳タスクにおけるパフォーマンスの不一致を是正すること。
• スタイル、分野、詳細度の観点から翻訳プロンプトを分類するための標準的でスケーラブルな分類法の開発。
• 分野特化型および文脈に配慮したプロンプト戦略の導入により、ChatGPTの翻訳品質の向上。
• 翻訳タスクにおけるLLMの行動とパフォーマンスの差異を分析するための研究者支援。
• 体系的なプロンプトベースの評価を通じて、パフォーマンスのボトルネックを特定し、モデル最適化を支援すること。

提案手法

• T3S分類法は、プロンプトを3つの次元（スタイル：例え、形式的、非形式的、分野：例え、医療、法的、技術的、詳細度：例え、最小、中程度、包括的）に分類する。
• この手法は、文脈や分野に応じた適切な翻訳戦略へのプロンプトタイプのマッピングを可能にする階層的フレームワークを採用する。
• Chain-of-Thought（CoT）やfew-shot promptingといった既存のプロンプト工学技術を活用し、分野特化型のテンプレートに統合する。
• このアプローチにより、プロンプトの分類に基づいてChatGPTが動的に翻訳戦略を選択可能となり、曖昧さや誤りの拡大を低減する。
• 複数の翻訳タスクにおける比較評価を通じて分類法を検証し、人間の評価基準と誤り分析を用いる。
• フレームワークは、プロンプトの反復的改善を可能にし、構造的なパフォーマンス評価を通じてフィードバックを提供し、モデルの改善を支援する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトの構造性と明確さが、異なる分野におけるChatGPTの翻訳パフォーマンスにどのように影響するか？
• RQ2 標準化されたプロンプト分類法が、LLMベースの翻訳における一貫性と正確性を向上させることができるか？
• RQ3 特化した分野における翻訳品質に顕著に影響を与えるプロンプト設計の主な次元は何か？
• RQ4 T3Sは、プロンプトの特徴と翻訳戦略選択の間の整合性をどのように向上させるか？
• RQ5 プロンプトの分類によって、LLMが出力する翻訳における誤りやバイアスをどの程度低減できるか？

主な発見

• T3Sは、特に複雑で分野特化型のタスクにおいて、標準的または非構造的なプロンプトに比べ、ChatGPTの翻訳パフォーマンスを顕著に向上させる。
• T3Sフレームワーク内での詳細で分野特化型のプロンプトの使用により、翻訳エラーが低減され、文脈的正確性が向上する。
• スタイルや詳細度に応じたプロンプトの分類は、汎用的または最小限のプロンプトよりも一貫性があり信頼性の高い出力をもたらす。
• 分類法により、モデルの限界の特定が容易になり、的確なフィードバックと最適化が可能になる。
• 適切なプロンプト工学を用いることで、T3Sに従ってガイドされたChatGPTのパフォーマンスは、基本的なプロンプトを上回り、特化分野では商業ツールに匹敵またはそれを上回る。
• 誤り分析の結果、構造化されたプロンプトは、翻訳出力における空想的記述（ホールーシュネーション）と事実の不整合を低減することが判明した。