[論文レビュー] From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting

Griffin Adams, Alexander R. Fabbri+3 more|arXiv (Cornell University)|Sep 8, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、GPT-4の要約の長さを変更せずに段階的に重要語彙の密度を高めるための「密度連鎖（CoD）プロンプト」を提案する。抽象化と統合を通じて徐々に顕著な語彙を統合することで、要約の情報量を向上させる。人間の好みの評価では、人間が作成した要約と同等の密度（0.151 E/T）を持つ要約が、通常のGPT-4要約（0.122 E/T）よりも好まれており、情報量と読みやすさの最適なバランスが示されている。

ABSTRACT

Selecting the ``right'' amount of information to include in a summary is a difficult task. A good summary should be detailed and entity-centric without being overly dense and hard to follow. To better understand this tradeoff, we solicit increasingly dense GPT-4 summaries with what we refer to as a ``Chain of Density'' (CoD) prompt. Specifically, GPT-4 generates an initial entity-sparse summary before iteratively incorporating missing salient entities without increasing the length. Summaries generated by CoD are more abstractive, exhibit more fusion, and have less of a lead bias than GPT-4 summaries generated by a vanilla prompt. We conduct a human preference study on 100 CNN DailyMail articles and find that that humans prefer GPT-4 summaries that are more dense than those generated by a vanilla prompt and almost as dense as human written summaries. Qualitative analysis supports the notion that there exists a tradeoff between informativeness and readability. 500 annotated CoD summaries, as well as an extra 5,000 unannotated summaries, are freely available on HuggingFace (https://huggingface.co/datasets/griffin/chain_of_density).

研究の動機と目的

• 要約の情報量（語彙密度によって駆動される）と読みやすさ（低い密度が好まれる）のトレードオフを調査すること。
• 長さと一貫性を維持しながらGPT-4要約における語彙密度を段階的に向上させるプロンプトベースの反復的手法を開発すること。
• 人間の好み評価を通じて、要約における最適な情報密度レベルを同定すること。
• 今後の固定長・可変密度要約研究のため、500件のアノテート済みおよび5,000件のアノテートなしCoD要約を公開するデータセットを提供すること。

提案手法

• 初期段階で1〜3個の顕著な語彙を持つ、語彙が疎な要約を生成するための「密度連鎖（CoD）プロンプト」を用いる。
• 5段階の反復ステップの各段階で、元の要約の長さを変更せずに、元の記事から新たに特定され、関連性が高く、具体的で、忠実かつ重複のない1〜3語彙を同定し、前回の要約に統合する。
• 長さを維持しながら語彙数を増やすために、圧縮、統合、抽象化を明示的に促進する。
• 語彙密度は語彙数/トークン数（E/T）として測定され、初期段階の要約は0.089 E/Tから始まり、ステップ5で0.151 E/Tにまで上昇する。
• 人間の好みの評価では、ステップ間でのCoD要約を比較し、情報量、一貫性、全体的な質を評価するアノテーションを実施する。
• 自動評価では、GPT-4を用いて要約を5つの次元（情報量、質、一貫性、帰属可能性、全体的質）で評価する。

実験結果

リサーチクエスチョン

• RQ1 人間が好むGPT-4要約における語彙密度のレベルは何か？ また、人間が作成した要約と比較するとどうなるか？
• RQ2 CoDプロンプトによる段階的密度化は、要約の要約的品質、統合、およびリーダービアスにどのように影響するか？
• RQ3 一貫性や読みやすさが劣化し始める前まで、語彙密度の向上が情報量の向上にどの程度寄与するか？
• RQ4 GPT-4に基づく自動評価指標は、密度の高い要約における人間の好みを信頼性高く予測できるか？

主な発見

• 人間の好みの評価では、CoDステップ3（0.151 E/T）の要約が、通常のGPT-4プロンプト（0.122 E/T）の要約よりも好まれており、首位に選ばれた要約の61％が少なくとも3段階の密度化を経たものであった。
• 最も好まれるCoDステップの中央値は3であり、期待される好まれるステップは3.06であった。これは、人間が作成した要約と同等の語彙密度（0.151 E/T）を持つ要約が好まれることを示している。
• 自動評価では、全体的質スコアがCoDステップ4（4.74）でピークに達し、情報量と全体的質スコアは密度化に伴い上昇するが、質スコアと一貫性スコアはそれぞれステップ2およびステップ1で低下を示した。
• 定性的分析では、情報量と読みやすさの明確なトレードオフが確認され、中間のCoDステップ（ステップ3〜4）が最も良いバランスを達成していた。
• GPT-4の全体的質スコアと人間の判断とのピアソン相関係数は0.31であり、全体的な相関は低かったが、先行研究におけるLLMベースの評価と一貫しており、中程度の一致を示している。
• 著者らは、今後の固定長・可変密度要約研究のため、HuggingFaceに500件のアノテート済みCoD要約と5,000件のアノテートなし要約を公開した。