[論文レビュー] Prompting ChatGPT for Translation: A Comparative Analysis of Translation Brief and Persona Prompts

He Sui|arXiv (Cornell University)|Feb 29, 2024

Topic Modeling被引用数 5

ひとこと要約

本論文は翻訳ブリーフと翻訳者・著者のペルソナを ChatGPT のプロンプトとして評価し、翻訳品質への影響が限定的であることを示し、翻訳理論をLLM prompting の実践へ翻訳する必要性を指摘する。

ABSTRACT

Prompt engineering has shown potential for improving translation quality in LLMs. However, the possibility of using translation concepts in prompt design remains largely underexplored. Against this backdrop, the current paper discusses the effectiveness of incorporating the conceptual tool of translation brief and the personas of translator and author into prompt design for translation tasks in ChatGPT. Findings suggest that, although certain elements are constructive in facilitating human-to-human communication for translation tasks, their effectiveness is limited for improving translation quality in ChatGPT. This accentuates the need for explorative research on how translation theorists and practitioners can develop the current set of conceptual tools rooted in the human-to-human communication paradigm for translation purposes in this emerging workflow involving human-machine interaction, and how translation concepts developed in translation studies can inform the training of GPT models for translation tasks.

研究の動機と目的

• 翻訳ブリーフが ChatGPT により高品質な翻訳を生成させるのに役立つかの検討。
• プロンプト内の翻訳者と著者のペルソナが ChatGPT の翻訳結果を改善するかを評価する。
• 人対人の翻訳における翻訳志向のプロンプト概念と GPT ベースの翻訳性能を比較する。
• 翻訳理論が人間–機械翻訳ワークフローの prompting 戦略に有用となるギャップを特定する。

提案手法

• 翻訳ブリーフおよび翻訳者／著者ペルソナのプロンプトをレビューし、実運用可能化する。
• これらのプロンプトを ChatGPT の翻訳タスクに適用し、翻訳出力を評価する。
• 人間の翻訳概念のどの要素が prompting へ移行でき、どこで失敗するかを分析する。
• LLMs のための翻訳理論に基づく prompting 設計の含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 翻訳ブリーフは基準プロンプトと比べて ChatGPT の翻訳品質を向上させるか？
• RQ2 プロンプト内の翻訳者または著者のペルソナは、測定可能な翻訳品質の向上をもたらすか？
• RQ3 人間の翻訳研究からの翻訳概念は ChatGPT のプロンプト設計をどの程度導くことができるか？
• RQ4 現在の翻訳焦点プロンプトの限界は何か？

主な発見

• 翻訳ブリーフとペルソナのいくつかの要素は人対人の翻訳コミュニケーションを促進する。
• これらの要素は、ChatGPT のプロンプトとして使用した場合、翻訳品質の向上に限定的な効果しか示さない。
• 結果は、翻訳理論が翻訳タスクのための GPT モデルの訓練と prompting にどのように情報を提供できるかを探る必要性を浮き彫りにする。
• 本研究は、人間中心のツールを直接LLMsへ転用することを前提にせず、人間の翻訳概念と整合するように prompting 設計を再考することを提案する。