[論文レビュー] Few-Shot Text Generation with Pattern-Exploiting Training

Timo Schick, Hinrich Schütze|arXiv (Cornell University)|Dec 22, 2020

Topic Modeling参考文献 45被引用数 74

ひとこと要約

この論文は genPet を紹介します。これは、自然言語の指示と少数の例を用いて、生成モデルのデータ効率の良いファインチューニングを可能にするパターン活用型訓練法です。ゼロショットおよび少数ショット設定で、複数の要約および見出し生成タスクにおいて、標準的なファインチューニングより改善を示します。

ABSTRACT

Providing pretrained language models with simple task descriptions in natural language enables them to solve some tasks in a fully unsupervised fashion. Moreover, when combined with regular learning from examples, this idea yields impressive few-shot results for a wide range of text classification tasks. It is also a promising direction to improve data efficiency in generative settings, but there are several challenges to using a combination of task descriptions and example-based learning for text generation. In particular, it is crucial to find task descriptions that are easy to understand for the pretrained model and to ensure that it actually makes good use of them; furthermore, effective measures against overfitting have to be implemented. In this paper, we show how these challenges can be tackled: We introduce GenPET, a method for text generation that is based on pattern-exploiting training, a recent approach for combining textual instructions with supervised learning that only works for classification tasks. On several summarization and headline generation datasets, GenPET gives consistent improvements over strong baselines in few-shot settings.

研究の動機と目的

• 事前学習済み生成器を自然言語の指示で導くことにより、データ効率の良い生成を動機づけ、実現する。
• 分類タスクから生成タスクへのパターン活用訓練パラダイムを拡張する。
• ゼロショットおよび少数ショットの設定で、英語の多様な要約および見出し生成タスクで genPet を評価する。
• genPet の性能に寄与する要素を分析し、改善を導く要因を特定する。

提案手法

• genPet を導入する。これは、パターンを介して生成を誘導するテキスト指示を用いたファインチューニング手順である。
• Pet フレームワークをエンコーダ-デコーダモデルに適用し、x に一つのパターン P を適用するか分割して適用することで、P(x) を条件とした y を生成できるようにする。
• 適切に pattern P を用い、適宜、指示が生成へ与える影響を与えるよう、エンコーダ部分とデコーダ部分の処理を選択的に行う。
• P(x) の口述化された指示位置におけるトークン確率を用いて、確率 p(y|x) をモデルのトークン確率から定式化する。
• 3つの課題に対処する。最適な指示の統合、指示の理解とパターン変更へのロバスト性、少数ショット設定での過剰適合の緩和。
• エンコーダ-デコーダ生成メカニズムと、生成のトークンごとの条件付き分解 p(y|z) を説明する。

実験結果

リサーチクエスチョン

• RQ1 genPet は、指示と少数のラベル付きデータを用いたテキスト生成タスクのデータ効率の良いファインチューニングを可能にするか。
• RQ2 指示をエンコーダ-デコーダモデルに統合して、生成結果への影響を最大化するにはどうするべきか。
• RQ3 モデルが指示を理解し、パターンの変化に対してロバストであり続けるにはどうすべきか。
• RQ4 指示ベースのプロンプトを用いた少数ショット生成で過剰適合を緩和する戦略は何か。

主な発見

• genPet は、要約および見出し生成に対して Pegaus のデータ効率を高め、10 件または100 件の訓練例のみでファインチューニングを可能にする。
• GenPet は、少数ショット設定で複数の要約および見出し生成タスクにおいて、通常のファインチューニングを一貫して上回る。
• デコーダによる指示の処理は、エンコーダのみで処理するより生成に対してより強い影響を与える傾向がある。
• 本論文は GenPet の性能に寄与する要因を分析し、構成要素の影響を定量化する。