[論文レビュー] ChatGPT vs Human-authored Text: Insights into Controllable Text Summarization and Sentence Style Transfer

Dongqi Pu, Vera Demberg|arXiv (Cornell University)|Jun 13, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、専門家と一般読者を対象とした要約、およびフォーマルとインフォーマルなレジスタ間の文書スタイル変換を焦点として、ChatGPTの制御されたテキスト生成性能を評価している。自動評価指標では、ChatGPTは先行モデルを上回っているが、スタイル、意味的整合性、事実の正確性の面で人間が書いたテキストとは著しく乖離しており、特にスタイル変換の際には顕著な事実の捏造や意味的ずれが生じている。

ABSTRACT

Large-scale language models, like ChatGPT, have garnered significant media attention and stunned the public with their remarkable capacity for generating coherent text from short natural language prompts. In this paper, we aim to conduct a systematic inspection of ChatGPT's performance in two controllable generation tasks, with respect to ChatGPT's ability to adapt its output to different target audiences (expert vs. layman) and writing styles (formal vs. informal). Additionally, we evaluate the faithfulness of the generated text, and compare the model's performance with human-authored texts. Our findings indicate that the stylistic variations produced by humans are considerably larger than those demonstrated by ChatGPT, and the generated texts diverge from human samples in several characteristics, such as the distribution of word types. Moreover, we observe that ChatGPT sometimes incorporates factual errors or hallucinations when adapting the text to suit a specific style.

研究の動機と目的

• 専門家と一般読者を対象としたテキスト生成、およびフォーマルとインフォーマルなスタイルへの適応能力について、ChatGPTの能力を体系的に評価すること。
• 人間が書いたテキストと比較して、ChatGPTが生成したテキストの忠実性と意味的正確性を評価すること。
• モデル生成テキストと人間が書いたテキストとの間のスタイル的、構造的、事実的特徴における乖離を特定・定量すること。
• 特にスタイル変換の際の幻覚現象や意味的不整合のリスクを調査すること。
• モデル出力と人間ベースラインを比較することで、将来的なLLMの制御されたテキスト生成に関する研究のベンチマークを提供すること。

提案手法

• 公開済みの2つのデータセットを用いた：文書レベル要約のためのQMSum、文書レベルスタイル変換のためのGYAFC。
• プロンプト工学を適用し、両タスクにおいて、ターゲット読者（専門家／一般読者）およびスタイル（フォーマル／インフォーマル）を条件としてChatGPTに与えた。
• 要約品質の評価に、ROUGE、BERTScore、読解性（Flesch-Kincaid）といった自動評価指標を用いた。
• 依存関係アーク包含（DAE）解析を用いて、根拠のない依存関係アークを検出することで、潜在的な事実の不整合を特定した。
• スタイル変換出力について、言語的および意味的分析を用いて人間基準との比較を実施した定性的ケーススタディを実施した。
• 意味的保持性とスタイル的正確性の評価に、人間がアノテートした基準テキスト（ゴールドスタンダード）を用いた。

Figure 1: Comparison of abstractiveness between ChatGPT and human-generated summaries

実験結果

リサーチクエスチョン

• RQ1 ChatGPTの学術的テキスト要約において、専門家と一般読者を対象とした場合に、読みやすさと内容の忠実性の観点で、それぞれどのように性能が異なるか？
• RQ2 ChatGPTは、コアとなる意味を変更せずに、フォーマルからインフォーマル、あるいはその逆の文書スタイル変換をどの程度成功させられるか？
• RQ3 ChatGPTが生成したテキストのスタイル的、構文的、語彙的特徴は、人間が書いたテキストとどのように異なるか？
• RQ4 スタイル変換および要約タスクの過程で、ChatGPTの出力に事実の捏造や意味的不整合がどの程度発生するか？
• RQ5 望ましい書き出しスタイルの例を提示することで、ChatGPTと人間が生成したテキストとのパフォーマンスギャップを縮小できるか？

主な発見

• ChatGPTが生成した要約は、人間が書いた要約と比較して、語彙的多様性や構文的複雑性の面で著しくスタイルのばらつきが少ない。
• 文書スタイル変換の際、ChatGPT出力の約18％が、誤ったまたは変更された内容語を含む顕著な意味的不整合を示した。
• 依存木解析により、ChatGPTが生成したテキストには、人間が書いたテキストよりも根拠のない依存関係アークがより多く含まれており、事実のずれ（factual drift）を示している。
• ChatGPTは、インフォーマルな言語をフォーマルに変換する際、頻繁に事実の誤りや幻覚を生じさせている。
• ROUGE や BERTScore といった自動評価指標では、ChatGPTのパフォーマンスは良好であったが、これらの指標は出力に存在する意味的不整合や事実の誤りを検出できていなかった。
• 望ましい書き出しスタイルの例を提示することで、ChatGPTと人間の出力とのパフォーマンスギャップが縮小された。これは、スタイルの条件指定が整合性を高める可能性を示唆している。

Figure 2: Summary consistency detection. L stands for layman, E for expert.