[論文レビュー] Novelty Controlled Paraphrase Generation with Retrieval Augmented Conditional Prompt Tuning

Jishnu Ray Chowdhury, Yong Zhuang+1 more|arXiv (Cornell University)|Feb 1, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模な事前学習言語モデルを用いたパrameter効率的で制御可能なパラフレーズ生成のため、Retrieval Augmented Prompt Tuning (RAPT) および Novelty Conditioned RAPT (NC-RAPT) を提案する。kNNで取得した例を連続的プロンプトチューニングに統合し、異なる語彙的新規性に対応する専用のプロンプトトークンを導入することで、4つのデータセットにおいてパラフレーズの品質と制御性が向上し、標準的な微調整法やベースライン手法を上回る。

ABSTRACT

Paraphrase generation is a fundamental and long-standing task in natural language processing. In this paper, we concentrate on two contributions to the task: (1) we propose Retrieval Augmented Prompt Tuning (RAPT) as a parameter-efficient method to adapt large pre-trained language models for paraphrase generation; (2) we propose Novelty Conditioned RAPT (NC-RAPT) as a simple model-agnostic method of using specialized prompt tokens for controlled paraphrase generation with varying levels of lexical novelty. By conducting extensive experiments on four datasets, we demonstrate the effectiveness of the proposed approaches for retaining the semantic content of the original text while inducing lexical novelty in the generation.

研究の動機と目的

• 大規模事前学習言語モデルにおけるパラフレーズ生成のためのパrameter効率的チューニング手法を開発すること。
• プロンプトチューニングにkNNで取得した例を統合することで、パラフレーズの品質を向上させること。
• 入力からの語彙的新規性のレベルを制御可能な専用のプロンプトトークンを導入して、生成されたパラフレーズにおける明示的制御を可能にすること。
• 意味的整合性を維持しつつ、パラフレーズにおける語彙的多様性を高めること。
• 標準的な事前学習モデルと互換性があり、アーキテクチャの変更なしに利用可能なモデルに依存しない連続空間プロンプトチューニングフレームワークを提供すること。

提案手法

• RAPTは、関連する訓練例をkNNベースで取得し、それを連続的プロンプトチューニングに統合することで、取得した文脈で強化されたプロンプト埋め込みを実現する。
• 本手法は事前学習済みのGPTベースモデルを用い、パラフレーズ生成をプロンプトテンプレート「Input: [x] \n Paraphrase: [y]」を用いた自己完了タスクとして定式化する。
• NC-RAPTでは、入力からの語彙的新規性のレベル（例：低、中、高）を所望のレベルに応じて条件づける専用のプロンプトトークンを導入する。
• プロンプトチューニングは連続空間で実行され、モデル全体の微調整を行わず、最適なプロンプト埋め込みを勾配更新で学習可能である。
• 取得した例はプロンプト文脈の拡張に用いられ、関連するコンテキスト例を提供することで生成品質が向上する。
• 本アプローチはモデルに依存せず、標準的な事前学習モデルと互換性があり、アーキテクチャの変更や事前学習／微調整の不一致を回避する。

実験結果

リサーチクエスチョン

• RQ1 リトリーブ補強プロンプトチューニングは、標準的なプロンプトチューニングと比較してパラフレーズ生成品質を向上させることができるか？
• RQ2 取得した例を用いた連続空間プロンプトチューニングは、パラフレーズの意味的整合性と語彙的多様性を向上させることができるか？
• RQ3 専用のプロンプトトークンは、生成されたパラフレーズにおける語彙的新規性のレベルを効果的に制御できるか？
• RQ4 NC-RAPTは、標準的な微調整法や他のパrameter効率的手法と比較して、パラフレーズの品質と新規性制御の両面で優れているか？
• RQ5 kNNリトリーブとプロンプトチューニングの統合は、複数のパラフレーズデータセットに一般化可能か？

主な発見

• RAPTは、4つのパラフレーズデータセットにおいて、自動評価および人的評価の両方で標準的な微調整法や他のパrameter効率的手法（例：アダプタチューニング、LoRA）を上回る。
• kNNで取得した例をプロンプトチューニングに統合することで、特に意味的類似性と文の自然さの面でパラフレーズ品質が顕著に向上した。
• NC-RAPTは、編集距離を用いた測定において、語彙的新規性のレベルを制御可能なパラフレーズを効果的に生成でき、意味的整合性を損なわずに実現した。
• 人的評価により、NC-RAPTで生成されたパラフレーズは、標準モデルのものと比較して多様性が高く、単調でないことが確認された。
• 本手法は入力との高い意味的類似性を維持しつつ、語彙的多様性に対する体系的な制御が可能であり、プロンプトベースの新規性制御の有効性を示した。
• 本手法は、わずかなトレーナブルパラメータ数で標準ベンチマークで最先端の性能を達成した。