[論文レビュー] Few-Shot Learning with Siamese Networks and Label Tuning

Thomas Müller, Guillermo Pérez-Torró+1 more|arXiv (Cornell University)|Mar 28, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、ラベルチューニング（LT）を用いてラベル埋め込みのみを微調整する、少量のラベルデータでテキスト分類を実行するためのシアンプソンネットワークベースの手法を提案する。これにより、タスク間でモデルを共有可能となり、効率的かつスケーラブルなデプロイメントが可能となる。完全微調整に比べてわずかに精度が低いものの、推論コストを著しく削減し、特に大規模なラベル集合においては、クロスアテンションモデルを凌駕する速度性能を発揮し、単一エンコーダーでマルチタスク推論を実現する。

ABSTRACT

We study the problem of building text classifiers with little or no training data, commonly known as zero and few-shot text classification. In recent years, an approach based on neural textual entailment models has been found to give strong results on a diverse range of tasks. In this work, we show that with proper pre-training, Siamese Networks that embed texts and labels offer a competitive alternative. These models allow for a large reduction in inference cost: constant in the number of labels rather than linear. Furthermore, we introduce label tuning, a simple and computationally efficient approach that allows to adapt the models in a few-shot setup by only changing the label embeddings. While giving lower performance than model fine-tuning, this approach has the architectural advantage that a single encoder can be shared by many different tasks.

研究の動機と目的

• 最小限のラベル付きデータでの低リソーステキスト分類の課題に取り組むこと、特にゼロショットおよび少量学習の設定下で行う。
• 少量学習テキスト分類において、クロスアテンションモデルと比較して競争力のある代替手法として、シアンプソンネットワークの可能性を検討すること。
• ラベル埋め込みのみを微調整するラベルチューニング（LT）を導入し、複数のタスク間でモデルを共有可能にする仕組みを提供すること。
• 少量学習における性能と推論効率のトレードオフを評価すること。
• 本手法の多様なタスク、言語、ラベル構成に対してどれほど頑健であるかを評価すること。

提案手法

• モデルは、入力テキストとラベルテキストを同じトランスフォーマー・エンコーダーを共有する対称的なシアンプソンネットワークを用い、両者を共通のベクトル空間に埋め込む。
• 入力とラベルの埋め込み間のドット積により類似度が計算され、推論時にラベル埋め込みを事前に計算可能となる。
• ラベルチューニング（LT）では、微調整時にエンコーダーの重みを固定し、ラベル埋め込みのみを更新する。これにより、単一のエンコーダーで複数タスクのデプロイメントが可能となる。
• バッチ内の他のラベルをインバッチネガティブとして用い、バッチ・ソフトマックス損失を用いて、入力と正解ラベル間の類似度スコアを最適化する。
• LTによる性能の損失を回復するために知識蒸留を適用し、学習データから最大10,000件のラベルなし例を用いる。
• 本手法は、センチメント、感情、レビューカテゴリ分類など、多様なテキスト分類タスクおよび複数言語で評価される。

実験結果

リサーチクエスチョン

• RQ1 ラベルチューニングを用いたシアンプソンネットワークは、ゼロショットおよび少量学習の設定下で、クロスアテンションモデルと同等の性能を達成できるか？
• RQ2 ラベルチューニングは、複数の分類タスクにわたる単一エンコーダーの効率的かつスケーラブルなデプロイメントを可能にするか？
• RQ3 特に限られた学習例がある状況下で、ラベルチューニングの性能は完全微調整と比べてどの程度か？
• RQ4 ラベルの表現方法（例：アイデンティティ仮説 vs. 述語的プロンプト）がモデル性能に与える影響は何か？
• RQ5 ラベル集合のサイズ、テキスト長、否定語の有無に応じて、モデルの性能と推論速度はどのように変化するか？

主な発見

• ラベルチューニングを用いたシアンプソンネットワークは、多様なタスクおよび言語において、ゼロショットおよび少量学習の両設定でクロスアテンションモデルと同等の性能を達成する。
• ラベルチューニングでは、ラベル数に対して推論コストが定数時間に保たれるが、クロスアテンションモデルはラベル集合のサイズに比例してスケーリングする。その結果、大規模なラベル集合ではシアンプソンネットワークが著しく高速である。
• 8および64件の学習例において、知識蒸留によりラベルチューニングと完全微調整の間の性能差の大部分が回復され、特に小規模なラベル集合で顕著に効果的である。
• 短いテキスト（≤44トークン）ではシアンプソンネットワークが、長いシーケンス（>160トークン）ではクロスアテンションモデルが優れている。
• 両モデルとも、Twitterベースのデータセットにおけるニュートラルなセンチメント予測では困難を示すが、クロスアテンションモデルはニュートラルラベルに対してより高い誤差率を示す。
• ラベル表現の選択（例：アイデンティティ仮説）が性能に顕著な影響を及ぼさないため、単純なラベル名で十分であることが示唆される。