[論文レビュー] MACSum: Controllable Summarization with Mixed Attributes

Yusen Zhang, Yang Liu+7 more|arXiv (Cornell University)|Nov 9, 2022

Topic Modeling被引用数 6

ひとこと要約

この論文は、ニュースおよび対話ソースから成る、長さ、抽出性、特異性、トピック、発話者という5つの制御属性を持つ、混合属性制御要約のための最初の人的アノテーション付きデータセットであるMACSumを紹介する。硬いプロンプトおよびソフトプレフィックスチューニングの手法を提案し、硬いプロンプトモデルが自動評価および人的評価の両方の指標で最高のパフォーマンスを示したが、混合属性制御は依然として困難な課題である。

ABSTRACT

Controllable summarization allows users to generate customized summaries with specified attributes. However, due to the lack of designated annotations of controlled summaries, existing works have to craft pseudo datasets by adapting generic summarization benchmarks. Furthermore, most research focuses on controlling single attributes individually (e.g., a short summary or a highly abstractive summary) rather than controlling a mix of attributes together (e.g., a short and highly abstractive summary). In this paper, we propose MACSum, the first human-annotated summarization dataset for controlling mixed attributes. It contains source texts from two domains, news articles and dialogues, with human-annotated summaries controlled by five designed attributes (Length, Extractiveness, Specificity, Topic, and Speaker). We propose two simple and effective parameter-efficient approaches for the new task of mixed controllable summarization based on hard prompt tuning and soft prefix tuning. Results and analysis demonstrate that hard prompt models yield the best performance on all metrics and human evaluations. However, mixed-attribute control is still challenging for summarization tasks. Our dataset and code are available at https://github.com/psunlpgroup/MACSum.

研究の動機と目的

• 現在、汎用要約タスクからの擬似データセットに依存している混合属性制御要約のための人的アノテーション付きベンチマークの不足に対処すること。
• 短く、特定のトピックに特化した要約など、複数の属性を同時に制御して要約を生成できるようにすること。
• 多様なユーザーの好みに応じて要約をカスタマイズできるモデルを評価するための高品質なベンチマークを確立すること。
• 要約における多様な属性を制御するための、効果的なパラメータ効率的微調整手法（硬いプロンプトおよびソフトプレフィックスチューニング）を検討すること。
• トピックの焦点が外れる、長さと特異性のトレードオフ、抽出性と読みやすさの矛盾といった、混合属性制御における継続的な課題を同定すること。

提案手法

• 著者らは、ニュースおよび対話ドメインからのソーステキストを含み、長さ、抽出性、特異性、トピック、発話者という5つの属性で制御される要約を持つ、人的アノテーション付きのMACSumデータセットを導入する。
• 各ソース入力に対して、異なる制御属性の組み合わせで複数の要約アノテーションが作成され、同じ入力に対して複数出力の評価が可能になる。
• 硬いプロンプト（HP）法では、制御属性の自然言語記述（例："Length: Long"）を入力系列の前に付加することでプロンプトとして用いる。
• ソフトプレフィックス（SP）法では、入力埋め込みの前に入力される学習可能な連続プレフィックスベクトルを導入し、モデル重みを変更せずにパラメータ効率的制御を可能にする。
• 要約モデルは、硬いプロンプトまたはソフトプレフィックスに基づいて微調整され、指定された属性の組み合わせに一致する出力を生成することを目的とする。
• 長さ、抽出性、特異性、トピック関連性、発話者一貫性といった、属性ごとの制御の忠実度を測るための2つの新しい自動評価指標を提案する。

実験結果

リサーチクエスチョン

• RQ1 混合属性を持つ人的アノテーション付きデータセットは、擬似データセットに依存する従来の方法と比較して、制御要約モデルのパフォーマンスと信頼性を向上させることができるか？
• RQ2 硬いプロンプトおよびソフトプレフィックスチューニングは、複数の要約属性を同時に制御するためにどれほど効果的か？
• RQ3 高特異性と短い長さといった、対立する属性を同時に満たす要約を生成する際の主な課題は何か？
• RQ4 トピック語を明示的に記述しない場合、モデルがトピック関連性を正しく捉えられず、制御の忠実度に影響を与える程度はどの程度か？
• RQ5 抽出性が高いと、特に対話文脈において、文の文法性や流暢さにどのように影響を与えるか？

主な発見

• 硬いプロンプトモデルは、すべての自動指標および人的評価ベンチマークでソフトプレフィックスモデルを上回り、優れた制御忠実度と流暢さを示している。
• MACSumに含まれる人的アノテーション付き要約は、属性の組み合わせに対して高い多様性と一貫性を示しており、データセットの品質とベンチマーク用途への有用性を裏付けている。
• 人的アノテーション付き要約とモデル生成出力との間に顕著なパフォーマンス格差が残っており、混合属性制御が依然として困難な課題であることが示唆されている。
• モデルは「トピックの焦点が外れる」という現象を示しており、内容がトピックに関連していても、明示的なトピック語に過剰に依存し、高レベルの主題的関連性を捉えられていない。
• 長さと特異性の間に強いトレードオフがある：高特異性かつ短い要約は特に生成が困難であり、モデル出力が人的基準よりも長くなる傾向が見られた。
• 高抽出性は、特に対話文脈において、断片的で文法的に不完全で不自然な文を生成する要因となり、会話の構造的特徴が顕著な情報抽出を複雑にする。