[論文レビュー] PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization

Xiaochen Liu, Yang Gao+5 more|arXiv (Cornell University)|Apr 9, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、少量の要約生成タスクにおける軽量な微調整手法としてPSP（Pre-trained Soft Prompts）を提案する。この手法はエンコーダーおよびデコーダーの入力に連続的（continuous）なソフトプロンプトを用い、文書理解を向上させるために入力テキスト内に配置されたインナー・プロンプト（inner-prompts）を併用する。モデル全体のパラメータのうちたった0.1%しか微調整しないにもかかわらず、PSPはフルモデル微調整およびPrompt Tuningを大きく上回り、3%のパラメータを使用するPrefix-Tuningと同等の性能を達成する。これは、リソースが限られた要約生成環境において、極めて高い有効性と効率性を示している。

ABSTRACT

Few-shot abstractive summarization has become a challenging task in natural language generation. To support it, we designed a novel soft prompts architecture coupled with a prompt pre-training plus fine-tuning paradigm that is effective and tunes only extremely light parameters. The soft prompts include continuous input embeddings across an encoder and a decoder to fit the structure of the generation models. Importantly, a novel inner-prompt placed in the text is introduced to capture document-level information. The aim is to devote attention to understanding the document that better prompts the model to generate document-related content. The first step in the summarization procedure is to conduct prompt pre-training with self-supervised pseudo-data. This teaches the model basic summarizing capabilities. The model is then fine-tuned with few-shot examples. Experimental results on the CNN/DailyMail and XSum datasets show that our method, with only 0.1% of the parameters, outperforms full-model tuning where all model parameters are tuned. It also surpasses Prompt Tuning by a large margin and delivers competitive results against Prefix-Tuning with 3% of the parameters.

研究の動機と目的

• ラベル付きデータが限られる少量の要約生成タスクにおける挑戦に応えること。この状況では、フル微調整が過学習を引き起こし、計算コストも高くなる。
• 標準的なPrompt Tuningが抽象的要約タスクで性能が低い問題を克服するため、より効果的なソフトプロンプトアーキテクチャを設計すること。
• 入力テキスト内に構造的なインナー・プロンプトを配置することで、文書レベルの理解力と生成のなめらかさを向上させること。
• プロンプト事前学習と軽量なソフトプロンプト微調整を導入することで、最小限のパラメータ更新で効率的な少量例への適応を可能にすること。
• プロンプト事前学習とインナー・プロンプトが、ロバストなゼロショットおよび少量ショット要約性能を達成するために不可欠であることを示すこと。

提案手法

• 主モデルパラメータを更新せずに、生成をガイドするため、エンコーダーおよびデコーダーの入力の前に連続的埋め込みを挿入するソフトプロンプトアーキテクチャを提案する。
• 入力文書内に配置される3種類のインナー・プロンプト（間隔型、順序型、固定長型）を導入し、異なる粒度で構造的・意味的情報を捉える。
• 2段階の訓練プロトコルを実装する。第1段階では自己教師付きの擬似データを用いてプロンプト事前学習を行い、要約能力の基本を習得させる。第2段階では、少量の例のみを用いてソフトプロンプトの微調整を行う。
• 事前学習済みエンコーダー・デコーダー・モデル（例：BART）を固定し、ソフトプロンプトの埋め込みのみを微調整することで、トレーニング可能なパラメータを著しく削減する。
• アテンション機構を活用して、プロンプトがモデルが関連する文書コンテンツにどのように注目するかを分析する。
• ヒューリスティックなルールを用いて擬似要約コーパスを構築し、プロンプト事前学習を支援することで、少量例への適応の初期化を改善する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーおよびデコーダーの入力に連続的埋め込みを用いたソフトプロンプトアーキテクチャは、少量の要約生成タスクにおいて効果的に機能するか？
• RQ2 入力テキスト内にインナー・プロンプトを配置することで、モデルの文書構造および意味的理解力が向上するか？
• RQ3 抽象的要約タスクにおいて、強力な少量ショットおよびゼロショット性能を達成するには、プロンプト事前学習が必須であるか？
• RQ4 本稿で提案するPSP手法は、フル微調整および既存のプロンプト微調整ベースライン（Prompt TuningやPrefix-Tuning）と比較して、性能および効率性においてどのように差をつけるか？
• RQ5 異なる種類のインナー・プロンプト（間隔型、順序型、固定長型）は、要約品質およびモデルの安定性にどの程度寄与するか？

主な発見

• PSPは、CNN/DailyMailおよびXSumデータセットにおいて、モデル全体のパラメータのうちたった0.1%しか微調整しないにもかかわらずSOTA性能を達成し、少量ショット設定下でフルモデル微調整を上回った。
• 標準的なPrompt Tuningを大きく上回った。これは、Prompt Tuning単体では抽象的要約タスクにおいて効果が薄いことを示している。
• PSPは、トレーニング可能なパラメータを3%に抑えたにもかかわらず、Prefix-Tuningと同等の性能を達成した。これは、パラメータ効率性に優れていることを示している。
• アブレーションスタディの結果、プロンプト事前学習とインナー・プロンプトの両方が不可欠であることが確認された。両方の欠落は、特に抽象的であるXSumデータセットにおいて顕著な性能低下とばらつきの増加を引き起こした。
• アテンション可視化の結果、モデルがソフトプロンプトに従って関連する文書コンテンツに的確に注目し、なめらかで整合性のある要約を生成する能力を効果的に学習していることが示された。
• プロンプト事前学習フェーズはゼロショット一般化性能を著しく向上させた。これは、少量ショット微調整の前に効果的なソフトプロンプトを初期化する役割を果たしていることを示している。