[論文レビュー] Prompted Opinion Summarization with GPT-3.5

Adithya Bhaskar, Alexander R. Fabbri+1 more|arXiv (Cornell University)|Nov 29, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、GPT-3.5を用いた長文意見要約のための2つのパイプライン手法—階層的チャンク化要約とQFSummを用いた事前抽出—を提案する。GPT-3.5は流暢な要約を生成するが、ROUGEなどの標準的指標は忠実性や事実性の問題を捉えられないことが示された。著者らは、要約の忠実性、事実性、一般性を評価する3つの新たな帰結ベースの指標を導入し、要約の抽象的性質をより適切に評価することを示した。事前抽出は、長文入力における忠実性を向上させるが、要約の長さと特異性に犠牲を払うことになる。

ABSTRACT

Large language models have shown impressive performance across a wide variety of tasks, including text summarization. In this paper, we show that this strong performance extends to opinion summarization. We explore several pipeline methods for applying GPT-3.5 to summarize a large collection of user reviews in a prompted fashion. To handle arbitrarily large numbers of user reviews, we explore recursive summarization as well as methods for selecting salient content to summarize through supervised clustering or extraction. On two datasets, an aspect-oriented summarization dataset of hotel reviews (SPACE) and a generic summarization dataset of Amazon and Yelp reviews (FewSum), we show that GPT-3.5 models achieve very strong performance in human evaluation. We argue that standard evaluation metrics do not reflect this, and introduce three new metrics targeting faithfulness, factuality, and genericity to contrast these different methods.

研究の動機と目的

• GPT-3.5を用いた大規模なユーザーレビューの要約に取り組むこと。特に、モデルのコンテキスト長制限を超える長大な入力に対して、入力テキストを繰り返す傾向があること。
• GPT-3.5の意見要約性能を評価すること。特に、矛盾する見解のバランスを保ち、一般化を避けること。
• ROUGE や BERTScore といった標準的自動指標が、抽象的要約における忠実性や事実性の問題を捉えられていないことの短所を同定すること。
• 自然言語帰結を代理指標として用い、忠実性、事実性、一般性の3つの新たな自動評価指標を開発・検証すること。
• 再帰的要約、抽出的フィルタリング、トピック別クラスタリングといった異なるパイプライン戦略の有効性を比較し、要約品質の向上を検証すること。

提案手法

• 著者らは、少々の例提示（few-shot prompting）戦略を用い、GPT-3.5（text-davinci-002）を用いてレビューの集合を要約する。
• 主に2つのパイプライン手法を検討した：(1) チャンク化による再帰的階層的要約、(2) 事前抽出としてQFSumm抽出モデルを用い、GPT-3.5要約の前に顕著な文をフィルタリングする。
• トピック指向の要約のため、文単位でのトピック予測とクラスタリングステップを追加し、要約前にレビューを「食事」「サービス」などのトピックごとにグループ化する。
• 自然言語帰結に基づく3つの新たな自動評価指標を導入した：(1) 忠実性は要約内の主張が入力によって裏付けられているかを測定、(2) 事実性は入力の事実と整合性があるかをチェック、(3) 一般性は一般化の度合いを評価。
• 評価は2つのデータセットを用いて実施した：SPACE（トピック指向のホテルレビュー）とFewSum（一般的なAmazonおよびYelpレビュー）。
• 人的評価を用いて、提案手法および指標の有効性を検証し、誤解や一般化の過剰による失敗モードの定性的分析も行った。

実験結果

リサーチクエスチョン

• RQ1 入力長がモデルのコンテキスト長制限を超える場合、GPT-3.5は大規模なユーザーレビューの要約においてどの程度の性能を示すか？
• RQ2 ROUGE や BERTScore といった標準的自動指標は、GPT-3.5が生成する要約における忠実性や事実性の問題をどの程度捉えられていないか？
• RQ3 再帰的要約、抽出的事前フィルタリング、トピック別クラスタリングといった異なるパイプライン戦略は、最終要約の忠実性、事実性、一般性にどのように影響を与えるか？
• RQ4 帰結ベースの指標は、抽象的意見要約における忠実性、事実性、一般性を効果的に測定できるか？また、n-gramベースの指標と比較してどう異なるか？
• RQ5 事前抽出と再帰的要約を比較した場合、要約の長さ、特異性、忠実性の間にはどのようなトレードオフがあるか？

主な発見

• 1,000語未満の入力では、基本的なプロンプト付きGPT-3.5は、非常に流暢で一貫性のある要約を生成し、人的評価でも高いスコアを示すが、より複雑なパイプラインによる改善は顕著でない。
• 入力サイズが増加するにつれ、GPT-3.5による再帰的要約は忠実性と事実性が低下し、モデルが見解を一般化し、入力内容を誤って表現する傾向が強まる。
• QFSummを用いた事前抽出は、長文要約における事実性と忠実性を向上させるが、要約が短くなり、共通語の割合が増加し、特異性が低下する。
• 要約の前にトピック別クラスタリングステップを追加することで、一般性が低下し、関連性が向上するが、わずかな忠実性および事実性の低下を伴う。
• 提案された帰結ベースの指標（忠実性、事実性、一般性）は、ROUGE や BERTScore よりも人的判断と強い相関を示し、とくに一般化の過剰や誤解の検出に優れている。
• 本研究は、現在の自動指標が抽象的要約の評価において限界を示していることを浮き彫りにし、意見要約分野におけるより細分化され、忠実性に配慮した評価フレームワークの必要性を提起している。