[論文レビュー] Pre-trained Token-replaced Detection Model as Few-shot Learner

Zicheng Li, Shoushan Li+1 more|arXiv (Cornell University)|Mar 7, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、ELECTRAなどの事前学習済みトークン置換検出モデルを用いた、新しい少サンプル学習アプローチを提案する。分類タスクを、プロンプトにラベル説明語を挿入することで、トークン置換検出問題に再定式化する。モデルは、どのラベル語が最も置換されていない（最もオリジナルな）かを予測し、16のNLPデータセットで最先端の性能を達成し、1文および2文のタスクにおいて、マスクド言語モデルに基づく少サンプル学習手法を上回る。

ABSTRACT

Pre-trained masked language models have demonstrated remarkable ability as few-shot learners. In this paper, as an alternative, we propose a novel approach to few-shot learning with pre-trained token-replaced detection models like ELECTRA. In this approach, we reformulate a classification or a regression task as a token-replaced detection problem. Specifically, we first define a template and label description words for each task and put them into the input to form a natural language prompt. Then, we employ the pre-trained token-replaced detection model to predict which label description word is the most original (i.e., least replaced) among all label description words in the prompt. A systematic evaluation on 16 datasets demonstrates that our approach outperforms few-shot learners with pre-trained masked language models in both one-sentence and two-sentence learning tasks.

研究の動機と目的

• 自然言語処理における限られたラベル付きデータを用いた低リソース少サンプル学習の課題に対処すること。
• 事前学習済みトークン置換検出モデル（例：ELECTRA）の未利用の潜在的価値を少サンプル学習に活用することの探求。
• 分類タスクをトークン置換検出問題に再定式化することで、少サンプル学習の性能を向上させること。
• 本アプローチの有効性を、多様な1文および2文のNLPタスクにわたり評価すること。

提案手法

• ラベル説明語を含む自然言語プロンプトを構築することで、下流の分類または回帰タスクを、トークン置換検出問題に再定式化する。
• テンプレートとすべてのラベル説明語を入力文に挿入し、置換の可能性を意図的に組み込んだプロンプトを形成する。
• 事前学習済みのELECTRA風モデルを用い、すべての候補の中から最もオリジナル（最も置換されていない）ラベル説明語を予測する。
• ラベル付き例をクラスあたり数個のみでモデルを学習・評価し、置換トークンを検出できる能力を活用する。
• パフォーマンスに与える影響を調査するため、さまざまなテンプレートとラベル説明語を用いたプロンプトを設計する。
• 固定されたハイパーパrameterと標準化された評価プロトコルを用いて、本手法をマスクド言語モデルに基づく少サンプル学習手法（例：LM-BFF）と比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みトークン置換検出モデルは、下流のNLPタスクにおける少サンプル学習者として効果的に再利用可能か？
• RQ2 本手法の性能は、限られたリソース環境下でマスクド言語モデルに基づく少サンプル学習手法と比べてどうか？
• RQ3 異なるプロンプトテンプレートおよびラベル説明語の影響は、少サンプル学習の精度にどのように現れるか？
• RQ4 クラスあたりのラベル付き例の数が、本手法のパフォーマンスに与える影響は何か？

主な発見

• 提案手法は、1文および2文のタスクの両方において、16のデータセットのうち15でマスクド言語モデルに基づく少サンプル学習手法（例：LM-BFF）を上回った。
• SST-2データセットでは、テンプレート 'It was great terrible' を用い、91.4%の精度を達成し、LM-BFFの88.6%を上回った。
• MNLIでは、クラスあたり128～512個のラベル付き例を用いた際、本手法がLM-BFFを上回り、中規模学習設定下での一般化性能が優れていた。
• ラベル説明語とタスクのカテゴリの間の意味的類似性が高いほどパフォーマンスが向上し、'great/terrible' や 'good/bad' のペアが、意味的に関連のないペア（例：'dog/cat'）よりも優れた性能を示した。
• モデルはプロンプトテンプレートに敏感であり、標点や構造の違いによってパフォーマンスが変動したが、普遍的に最適なテンプレートは特定できなかった。
• クラスあたりたった4つのラベル付き例でも、本手法は強力な性能を維持しており、極めてリソースが限られた状況下でも頑健であることが示された。