[論文レビュー] Latent Prompt Tuning for Text Summarization

Yubo Zhang, Xingxing Zhang+3 more|arXiv (Cornell University)|Nov 3, 2022

Topic Modeling被引用数 6

ひとこと要約

この論文では、1つのアーキテクチャ内で制御ありおよび制御なし生成を可能にする、潜在プロンプトチューニングを活用した統合的テキスト要約モデルLotusを提案する。事前学習段階で対照的学習を用いて、分離された潜在プロンプト表現を学習することで、4つのベンチマークデータセットにおいて制御なしモードで最先端の性能を達成するとともに、長さ、キーワード、エンティティなどのユーザー指定の制御信号を介して高い制御性を維持する。

ABSTRACT

Prompts with different control signals (e.g., length, keywords, etc.) can be used to control text summarization. When control signals are available, they can control the properties of generated summaries and potentially improve summarization quality (since more information are given). Unfortunately, control signals are not already available during inference time. In this paper, we propose Lotus (shorthand for Latent Prompt Tuning for Summarization), which is a single model that can be applied in both controlled and uncontrolled (without control signals) modes. During training, Lotus learns latent prompt representations from prompts with gold control signals using a contrastive learning objective. Experiments show Lotus in uncontrolled mode consistently improves upon strong (uncontrollable) summarization models across four different summarization datasets. We also demonstrate generated summaries can be controlled using prompts with user specified control tokens.

研究の動機と目的

• テキスト要約における推論時における制御信号の欠如という課題に対処すること。
• 追加パラメータを追加せずに、制御ありおよび制御なし要約を1つのモデルアーキテクチャに統合すること。
• 推論時には利用不可であっても、訓練時に制御信号を活用することで要約品質を向上させること。
• 推論時において、要約の長さ、キーワード、エンティティについて、ユーザーが柔軟に指定した制御を可能にすること。
• 潜在プロンプトチューニングが、同時に生成品質と制御性の両方を向上させられることを示すこと。

提案手法

• モデルは、訓練時にゴールの制御信号（例：長さ、キーワード）を含むプロンプトから、分離された潜在プロンプト表現を対照的学習によって学習する。
• 1つのエンコーダデコーダトランスフォーマーモデルを微調整し、学習済みの潜在プロンプトに注目させることで、制御ありおよび制御なしの両方の生成を可能にする。
• 推論時、再トレーニングなしに、プロンプトなしの制御なしモードと、ユーザー指定の信号を含むプロンプトを用いた制御モードの切り替えが可能である。
• 長さ、キーワード、エンティティなどの制御信号は、入力プロンプトとして注入され、デコーダーの生成を条件づける。
• 追加のモデルヘッドやアダプタを導入しないことで、パラメータの増加を回避し、プロンプトチューニングに依存する。
• 標準の要約データセット上で、リファレンス要約から抽出されたゴールの制御信号を用いて、フレームワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、1つの要約モデルが制御ありおよび制御なしの両方の生成を効果的にサポートできるか？
• RQ2 制御信号から潜在プロンプト表現を学習することで、制御なし要約の性能が向上するか？
• RQ3 ユーザーが指定した長さ、キーワード、またはエンティティを用いた要約生成において、モデルがどれほど高い制御性を維持できるか？
• RQ4 潜在プロンプトチューニングに用いる対照的学習の目的関数が、さまざまな制御信号タイプ間での分離性および一般化性を向上させるか？
• RQ5 制御なしモードで強力なベースラインを上回りつつ、高い制御能力を維持できるか？

主な発見

• Lotusは、CNN/DailyMail、XSum、Gigaword、New York Timesの4つの要約データセットにおいて、制御なしモードで一貫して強力なベースラインを上回る性能を示した。
• CNN/DailyMailでは、Lotusは制御なしモードでROUGE-Lスコア43.2を達成し、最も強力なベースラインを1.1ポイント上回った。
• 制御モードでは、Lotus-Len+Absが制御能力（MAD 1.8）と生成品質（ROUGE-L 43.1）のバランスが最も良く、わずかに低い制御精度であってもCTRLcodeを品質面で上回った。
• ケーススタディでは、関連語句が正確に要約に含まれていることが示され、ユーザー指定のキーワードやエンティティの要約生成に成功している。
• 長さ制御信号の強化により、全テスト長さ（10、25、40）において、より長い要約が効果的かつスケーラブルに生成された。
• アブレーションスタディにより、要約の一般化が抽象的要約信号と長さ信号の両方を同時に学習することで向上することが確認され、Lotus-Len+Absが単一信号タイプでの学習に比べて優れた性能を示した。