[論文レビュー] Multidimensional Evaluation for Text Style Transfer Using ChatGPT

Huiyuan Lai, Antonio Toral+1 more|arXiv (Cornell University)|Apr 26, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、テキストスタイル変換（TST）におけるスタイル強度、コンテンツ保存度、および流暢さの3次元的評価者として、ChatGPTが信頼性がありゼロショットで運用可能な評価者として機能するかを調査する。適切に設計されたプロンプトを用いることで、ChatGPTは人間の判断と競争的な相関を示すことが実証された。特にデータセットレベルにおいて、既存の自動評価指標を上回る性能を発揮しており、TSTシステムにおける統合的かつファインチューニングを要しない評価者としての可能性を示唆している。

ABSTRACT

We investigate the potential of ChatGPT as a multidimensional evaluator for the task of \emph{Text Style Transfer}, alongside, and in comparison to, existing automatic metrics as well as human judgements. We focus on a zero-shot setting, i.e. prompting ChatGPT with specific task instructions, and test its performance on three commonly-used dimensions of text style transfer evaluation: style strength, content preservation, and fluency. We perform a comprehensive correlation analysis for two transfer directions (and overall) at different levels. Compared to existing automatic metrics, ChatGPT achieves competitive correlations with human judgments. These preliminary results are expected to provide a first glimpse into the role of large language models in the multidimensional evaluation of stylized text generation.

研究の動機と目的

• ChatGPTが複数の次元にわたり、信頼性がありゼロショットでテキストスタイル変換を評価できるかを評価すること。
• ChatGPTの評価性能を既存の自動評価指標および人間の判断と比較すること。
• 異なるプロンプトテンプレートが評価の一貫性と正確性に与える影響を調査すること。
• タスク固有のファインチューニングを伴わずに、1つの大規模言語モデル（LLM）で複数のTSTの次元を評価する可能性を検討すること。

提案手法

• 著者らは、TST出力のスタイル強度、コンテンツ保存度、および流暢さの3次元的評価を目的とした、タスク固有の指示をChatGPTに提示する。
• 人間がアノテートしたデータセット（先行研究からのもの）を用いて、ChatGPTの評価と人間の判断との間の相関スコアを算出する。
• 単一次元および複数次元のプロンプト提示方法をテストし、性能に与える影響を評価する。
• スコア、システム、データセットの3レベルで、スピアマンのrhoなどの標準指標を用いて相関分析を実施する。
• ROUGE、BERTScore、COMETを含む16の既存自動評価指標と、ChatGPTの性能を比較する。
• すべてのプロンプト、コード、および評価結果を公開し、再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、複数の次元にわたり、信頼性がありゼロショットでテキストスタイル変換を評価できるか？
• RQ2 既存の自動評価指標と比較して、ChatGPTの評価が人間の判断とどの程度相関しているか？
• RQ3 どのプロンプトテンプレート設定が、ChatGPTの評価において最も一貫性と正確性が高いか？
• RQ4 評価が最も困難であるデータセットレベルにおいて、ChatGPTは自動評価指標を上回る性能を示すか？

主な発見

• ChatGPTは、コンテンツ保存度、スタイル強度、流暢さの3次元すべてにおいて、人間の判断と競争的な相関を示しており、特にデータセットレベルで顕著である。
• データセットレベルでは、18の評価ケースのうち14で、ChatGPTはテストされた16の自動評価指標すべてを上回った。
• 単一次元プロンプト（1次元ずつ評価する方法）は、複数次元プロンプトよりも高い性能を示したが、システムレベルのスタイルおよび流暢さの評価を除いてはそうである。
• GPT-2でさえもドメイン特化データでファインチューニングされているにもかかわらず、ChatGPTはGPT-2よりも高い相関を示しており、ゼロショットプロンプトの強力さを示している。
• ChatGPTには、攻撃的コンテンツの評価を拒否する、同一出力に対して一貫性のないスコアを付与するといった制限があることが明らかになった。これにより、プロンプトの安定化の必要性が浮き彫りになった。
• 本研究は、GPTのような大規模言語モデルが、ファインチューニングを要せず、多様なTST評価次元を統合的に評価するための代替手段となり得ることを示しており、高コストな人間によるアノテーションへの依存を減らす可能性を示している。