[論文レビュー] Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

Timo Schick, Hinrich Schütze|arXiv (Cornell University)|Jan 21, 2020

Topic Modeling被引用数 15

ひとこと要約

本稿では、自然言語のパターンと語彙化器を用いて少数例テキスト分類および自然言語推論タスクを穴埋め形式の質問に再定式化する半教師付き手法であるパターン効果トレーニング（PET）を紹介する。事前学習済み言語モデルをこれらのパターンで微調整することで、大規模な未ラベルデータセットに対してソフトラベルを生成し、それを最終分類器の学習に使用する。この手法により、複数の言語およびタスクにおいて低リソース設定で最先端の性能を達成する。

ABSTRACT

Some NLP tasks can be solved in a fully unsupervised fashion by providing a pretrained language model with "task descriptions" in natural language (e.g., Radford et al., 2019). While this approach underperforms its supervised counterpart, we show in this work that the two ideas can be combined: We introduce Pattern-Exploiting Training (PET), a semi-supervised training procedure that reformulates input examples as cloze-style phrases to help language models understand a given task. These phrases are then used to assign soft labels to a large set of unlabeled examples. Finally, standard supervised training is performed on the resulting training set. For several tasks and languages, PET outperforms supervised training and strong semi-supervised approaches in low-resource settings by a large margin.

研究の動機と目的

• 限られたラベル付きデータによる少数例NLPタスクの性能劣化という課題に対処すること。
• タスクの説明を組み込むことで、わずかなラベル付き例からの一般化の難しさを克服すること。
• 事前学習済み言語モデルを用いて未ラベルデータを効果的に活用する半教師付き手法を開発すること。
• 事前学習済み言語モデルからのパターンベースの知識蒸留と教師あり微調整を組み合わせることで、少数例学習の性能を向上させること。

提案手法

• タスクの意味を表現する複数の穴埋め形式のパターン（例：'これは今までで一番よかったピザだった。それは____であった。'）を定義する。
• 語彙化器を用いてクラスラベルを妥当な穴埋めの完成形にマッピングする（例：'great' → '1'、'bad' → '-1'）。
• 小規模なラベル付きデータセットを用いて、各パターン-語彙化器ペアで事前学習済み言語モデルを微調整する。
• 微調整済みモデルのアンサンブルを用いて、大規模な未ラベルデータセットに対してソフトラベルを予測する。
• 標準的な教師あり学習を用いて、ソフトラベル付きデータセットで最終分類器を学習する。
• 段階的に訓練データサイズを増やす反復的バージョンであるiPETを導入する。

実験結果

リサーチクエスチョン

• RQ1 教師あり微調整と組み合わせた穴埋め形式のパターンが、少数例テキスト分類および自然言語推論タスクの性能を向上させるか。
• RQ2 低リソース設定において、PETは教師あり学習と強力な半教師ありベースラインと比べてどのように性能を発揮するか。
• RQ3 反復的改善プロセス（iPET）は複数の世代にわたり一貫した性能向上をもたらすか。
• RQ4 PETの性能向上は、未ラベルデータの活用によるものか、パターンベースの知識蒸留によるものか、どちらが主因か。
• RQ5 PETの性能はパターンの選択にどれほど敏感か。また、アンサンブルや蒸留は性能が悪いパターンの影響を軽減できるか。

主な発見

• PETは、少数例テキスト分類および自然言語推論タスクにおいて、標準的な教師あり微調整および強力な半教師ありベースラインを著しく上回る性能を発揮する。
• 10例の訓練データセットにおいて、PETはAG’s Newsで平均85.6%、Yelpで83.2%の精度を達成し、教師ありベースラインを10ポイント以上上回る。
• 反復的バージョンiPETは全世代にわたり性能を向上させ、4世代にわたって学習した最終モデルではAG’s Newsで88.1%の精度を達成した。
• 知識蒸留により最終分類器のサイズが小さくなりながらも精度が向上し、個々のモデルからのハードラベルよりもソフトラベルが有効であることが示された。
• 単一のパターンでも、PETは最も優れた個別パターンを上回る性能を発揮し、アンサンブル学習がパターン固有の弱みを緩和していることが示された。
• ドメイン内事前学習がPETの向上を完全に説明できないことが判明した。両者を同じドメインデータで微調整しても、PETは教師ありモデルを上回った。