[論文レビュー] UniSumm and SummZoo: Unified Model and Diverse Benchmark for Few-Shot Summarization

Yulong Chen, Yang Liu+5 more|arXiv (Cornell University)|Nov 17, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、多様な要約タスクで事前学習された統合的Few-shot要約モデルUniSummと、新しいタスク向けにPrefix-tuningを用いて微調整することで、最先端の性能を達成するモデルを紹介する。また、8つのタスクと各タスクごとに5つのFew-shotセットを備えた、堅牢で多様性のあるベンチマークSummZooを提案し、公平な評価を可能にする。UniSummは強力なベースラインを上回り、人間評価でもGPT-3.5と同等の性能を示す一方で、Few-shotサンプルの変動に対してより高い安定性を示している。

ABSTRACT

The high annotation costs and diverse demands of various summarization tasks motivate the development of few-shot summarization. However, despite the emergence of many summarization tasks and datasets, the current training paradigm for few-shot summarization systems ignores potentially shareable knowledge in heterogeneous datasets. To this end, we propose extsc{UniSumm}, a unified few-shot summarization model pre-trained with multiple summarization tasks and can be prefix-tuned to excel at any few-shot summarization task. Meanwhile, to better evaluate few-shot summarizers, under the principles of diversity and robustness, we assemble and release a new benchmark extsc{SummZoo}. It consists of $8$ summarization tasks with multiple sets of few-shot samples for each task, covering diverse domains. Experimental results and analysis show that extsc{UniSumm} outperforms strong baselines by a large margin across all sub-tasks in extsc{SummZoo} under both automatic and human evaluations and achieves comparable results in human evaluation compared with a GPT-3.5 model.

研究の動機と目的

• 異なるデータセット間で共有される知識を活用することで、要約タスクの高コスト性と多様性に対処し、共通の知識を用いたFew-shot適応を可能にする。
• 既存の要約データセットからのタスク間知識を活用することで、新しいタスクへの直接微調整の限界を克服する。
• マルチタスク学習とPrefix-tuningを統合した包括的な事前学習フレームワークを構築し、効果的なFew-shot適応を実現する。
• サンプル選択バイアスを最小限に抑えることで、Few-shot要約モデルの公平で信頼性の高い評価を可能にする、堅牢で多様なベンチマークを構築する。
• 包括的なトレーニングとチューニングのパラダイムにより、さまざまなFew-shotサンプルに対してモデルの汎化性能と安定性を確保する。

提案手法

• 8つの多様な要約データセットを用いて、タスク固有のおよび普遍的なPrefixベクトルを含むマルチタスク学習で、統合的Transformerベースのモデルを事前学習する。
• 共有パラメータとタスク固有のPrefixのバランスを取るために、事前学習段階で非対称な重み減衰を適用し、知識の転送を強化する。
• Few-shot適応段階ではPrefix-tuningを適用：バックボーンを固定し、新しいタスク用に普遍的なPrefixのみを微調整する。
• 事前学習済みの普遍的なPrefixを初期化として用いることで、ゼロショット転送性能と適応速度を向上させる。
• 8つの要約タスク（異なるドメイン、フォーマット、長さをカバー）を含み、各タスクに5つの異なるFew-shot学習セットを備えたSummZooを構築する。
• 各タスクの5つのFew-shotセットすべての平均スコアを要求することで、評価の標準化を図り、堅牢性と公平性を確保する。

実験結果

リサーチクエスチョン

• RQ1 複数の要約タスクで事前学習された統合的モデルは、未学習のFew-shot要約タスクに効果的に一般化できるか？
• RQ2 事前学習済みの普遍的Prefixを用いたPrefix-tuningは、直接微調整に比べて、Few-shot要約性能をどのように向上させるか？
• RQ3 多様なデータセットを用いたマルチタスク事前学習は、さまざまなFew-shotサンプルに対してモデルのロバスト性と安定性をどの程度向上させるか？
• RQ4 提案されたベンチマークSummZooは、従来のベンチマークと比較して、Few-shot要約モデルの評価における公平性と信頼性をどのように向上させるか？
• RQ5 統合的モデルは、GPT-3.5のような大規模な自己回帰モデルと同等の性能を人間評価で達成できるか。また、変動するFew-shotデータに対してより安定しているか？

主な発見

• 自動評価指標において、UniSummはSummZooのすべてのサブタスクで強力なベースラインを上回り、一貫した優位性を示している。
• 人間評価では、UniSummはGPT-3.5モデル（text-davinci-002）と同等の性能を達成したが、異なるFew-shotサンプルに対してははるかに高い安定性を示した。
• マルチタスク事前学習とPrefix-tuningの組み合わせが、UniSummの性能に不可欠であることが、アブレーションスタディで明らかになった。両方のコンポonentを削除すると、顕著なスコア低下が観察された。
• UniSummはサンプル選択バイアスに対してより高いロバスト性を示し、タスクごとに5つのFew-shotセットすべてで高い性能を維持した。一方、ベースラインは性能のばらつきが顕著であった。
• 事前学習から得た普遍的Prefixは、Prefix-tuningの初期化として効果的であり、新しいタスクへの迅速かつ効果的な適応を可能にした。
• タスクごとに複数のFew-shotセットを備えたSummZooの設計により、モデル比較におけるばらつきとバイアスを低減し、より公平で信頼性の高い評価が可能になった。