[論文レビュー] Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations

Yu Fei, Zhao Meng+3 more|arXiv (Cornell University)|Jan 1, 2022

Topic Modeling被引用数 3

ひとこと要約

本稿では、クラス名で初期化されたベイジアン混合正規分布モデルを用いて、ラベルなしのテキスト埋め込みをグループ化することで、ゼロショットテキスト分類を向上させる単純なクラスタリング手法であるSimPTCを提案する。単純であるにもかかわらず、微調整や人為的プロンプトを一切用いずに、14の多様なデータセットにおいて平均で20%のマクロF1の絶対的向上を達成し、最先端の性能を発揮する。

ABSTRACT

Recent work has demonstrated that pre-trained language models (PLMs) are zero-shot learners. However, most existing zero-shot methods involve heavy human engineering or complicated self-training pipelines, hindering their application to new situations. In this work, we show that zero-shot text classification can be improved simply by clustering texts in the embedding spaces of PLMs. Specifically, we fit the unlabeled texts with a Bayesian Gaussian Mixture Model after initializing cluster positions and shapes using class names. Despite its simplicity, this approach achieves superior or comparable performance on both topic and sentiment classification datasets and outperforms prior works significantly on unbalanced datasets. We further explore the applicability of our clustering approach by evaluating it on 14 datasets with more diverse topics, text lengths, and numbers of classes. Our approach achieves an average of 20% absolute improvement over prompt-based zero-shot learning. Finally, we compare different PLM embedding spaces and find that texts are well-clustered by topics even if the PLM is not explicitly pre-trained to generate meaningful sentence embeddings. This work indicates that PLM embeddings can categorize texts without task-specific fine-tuning, thus providing a new way to analyze and utilize their knowledge and zero-shot learning ability.

研究の動機と目的

• タスク固有の微調整やプロンプト工学を用いずにゼロショットテキスト分類を向上させること。
• PLM埋め込み空間におけるクラスタリングが、事前学習モデルの知識をより効果的に活用できるかどうかを検討すること。
• トピック、テキスト長、クラス数の異なる多様なデータセット上で、この手法を評価すること。
• 特に文の埋め込みに明示的に訓練されていないものも含む、さまざまなPLM埋め込み空間のクラスタリング特性を分析すること。
• 複雑なプロンプトや自己学習パイプラインに代わる、軽量で効率的な代替手法を提供すること。

提案手法

• テキストおよびクラス名の基本表現としてSimCSE文の埋め込みを使用する。
• アンカーメンタリの生成とその埋め込み計算により、クラス名を用いてクラスタ中心を初期化する。
• ラベルなしのテキスト埋め込みにベイジアン混合正規分布モデル（BGMM）を適用し、クラス固有のガウス分布にフィットさせる。
• テキスト埋め込みとクラスアンカーベクトルの間のコサイン類似度に基づいて、初期クラスタ割り当てを決定する。
• PLMを更新せずに、期待値最大化を用いてクラスタパラメータを最適化する。
• 正則化と一般化性能の向上を目的として、全クラスに共通の共分散行列を用いる。

実験結果

リサーチクエスチョン

• RQ1 プロンプトや微調整を一切用いずに、PLM埋め込み空間におけるクラスタリングがゼロショットテキスト分類を向上させられるか？
• RQ2 クラス数やテキスト長が異なる多様なデータセットにおいて、SimPTCはプロンプトベース手法と比較してどのように性能を発揮するか？
• RQ3 文の埋め込みに事前学習されていないPLM埋め込みでも、自然にトピックごとにクラスタリングされるか？
• RQ4 異なるPLMアーキテクチャーやサイズは、クラスタリング品質およびゼロショット性能にどのように影響するか？
• RQ5 特に抽象的またはレアなクラス名を扱う際、クラスタリングベースのゼロショット学習にはどのような限界があるか？

主な発見

• SimPTCは、14の多様なデータセットにおいて、プロンプトベースのゼロショット学習と比較して、マクロF1で平均20%の絶対的向上を達成する。
• 不均衡なデータセットでは、既存手法を著しく上回り、クラスの不均衡に対して高い頑健性を示す。
• 文の埋め込みに訓練されていないRoBERTa-largeですら、その埋め込み空間で明確に分離されたトピッククラスタを生成する。
• SimCSE埋め込みは、サブトピック（例：アマゾンレビューにおける「本」と「製品」）ごとのサブクラスタを形成可能であり、線形的な意味的構造を露呈する。
• T5-3Bのような大規模モデルは、SimPTCと組み合わせることで、一部のデータセットで完全に教師ありのBERT性能に達するか、それを上回る。
• 抽象的なクラス名（例：「主観的」と「客観的」）では、本手法の性能が著しく低下するため、意味的抽象性の処理が主な限界であると判明する。