[論文レビュー] Discourse-Aware Soft Prompting for Text Generation

Marjan Ghazvininejad, Vladimir Karpukhin+2 more|arXiv (Cornell University)|Dec 10, 2021

Topic Modeling被引用数 4

ひとこと要約

本論文では、階層的ブロッキングとスパースアテンションをprefix-tuningに導入することで、要約およびデータからテキストへの生成タスクにおいて、一貫性、忠実性、関連性が著しく向上するディスcourse-awareなソフトプロンプティングを提案する。この手法は、特にリソースが限られた状況下でも、完全微調整と同等の性能を達成しており、標準的なprefix-tuningや既存のベースラインを自動評価および人的評価の両面で上回っている。

ABSTRACT

Current efficient fine-tuning methods (e.g., adapters, prefix-tuning, etc.) have optimized conditional text generation via training a small set of extra parameters of the neural language model, while freezing the rest for efficiency. While showing strong performance on some generation tasks, they don't generalize across all generation tasks. We show that soft-prompt based conditional text generation can be improved with simple and efficient methods that simulate modeling the discourse structure of human written text. We investigate two design choices: First, we apply extit{hierarchical blocking} on the prefix parameters to simulate a higher-level discourse structure of human written text. Second, we apply extit{attention sparsity} on the prefix parameters at different layers of the network and learn sparse transformations on the softmax-function. We show that structured design of prefix parameters yields more coherent, faithful and relevant generations than the baseline prefix-tuning on all generation tasks.

研究の動機と目的

• 多様なテキスト生成タスク、特に抽象的要約およびデータからテキストへの生成タスクにおけるprefix-tuningの一般化を向上させること。
• 構造化されたプレフィックスパラメータ設計によるディスcourse構造のモデリングが生成品質を向上させるかどうかを調査すること。
• 特徴選択とパフォーマンス向上に寄与するプレフィックスパラメータに対するアテンションスパースティの影響を評価すること。
• パラメータ効率を保ちながら、完全微調整と同等の高いパフォーマンスを達成すること。
• ラベル付きデータが限られる低リソース設定においても頑健であることを示すこと。

提案手法

• 異なるトランスフォーマー層において、入力セグメントと出力セグメントに別々のプレフィックスセットを割り当てることで、ディスcourse構造を模倣する階層的プレフィックスブロッキングを導入する。
• 層別プレフィックスチューニングを適用し、サイズを変化させることで、より高い層がパフォーマンスに与える影響が大きいことが判明した。
• 標準のソフトマックスをスパース代替に置き換えることで、プレフィックスチューニングモデルの自己アテンション機構にスパースティを組み込むが、パラメータの追加は行わない。
• スパースプレフィックスパラメータが密度の高いものよりも顕著な特徴をよりよく特定できることを検証するために、スペクトル解析を用いる。
• 構造化されたプレフィックスパラメータとスパースアテンションを用いてモデルを訓練し、メインモデルの重みは凍結したまま、プレフィックスのみをチューニングする。
• 自動評価指標（ROUGE）と人的評価（一貫性、忠実性、関連性、文法的正しさ、全体的な品質）を用いてパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーネットワークの異なる層が、プレフィックスパラメータを異なる効率で処理するか？
• RQ2 プレフィックスパラメータの階層的ブロッキングは、人間のディスcourse構造を模倣し、生成品質を向上させることができるか？
• RQ3 プレフィックスパラメータにアテンションスパースティを適用することで、特徴表現とモデルパフォーマンスが向上するか？
• RQ4 ディスcourse-awareなソフトプロンプティングは、特に低リソース設定下で、多様なテキスト生成タスクにどのように一般化するか？
• RQ5 構造化されたプレフィックスチューニングは、完全微調整と同等のパフォーマンスを達成しつつ、パラメータ効率を維持できるか？

主な発見

• 階層的ブロッキング（HierBlock）とスパースアテンション（HierBlock+SA）は、すべての自動評価指標で標準的なprefix-tuningを著しく上回り、ROUGE-1、ROUGE-2、ROUGE-Lスコアが一貫して高い。
• XSUMおよびWikihow要約タスクにおいて、学習データが50％未満に制限される状況下で、HierBlockおよびHierBlock+SAはROUGE-1およびROUGE-2において完全微調整を上回った。
• 人的評価では、HierBlockおよびHierBlock+SAがprefix-tuningよりも事実性および一貫性で好まれており、ほとんどの基準でp < .05の有意差が得られた。
• 低リソース設定下では、HierBlock+SAが、prefix-tuningおよび完全微調整の両方と比較して、複数の指標でより安定したパフォーマンスを示した。
• データからテキストへの生成タスクでは、提案モデルが完全微調整と同等のパフォーマンスを達成しており、人的評価では要約タスクでわずかにそれを上回った。
• スペクトル解析により、スパースプレフィックスパラメータが密度の高いものよりも重要な特徴をよりよく特定できることを確認し、スパースティの設計選択を裏付けるものとなった。