[論文レビュー] Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification

Tianyi Lei, Honghui Hu+3 more|arXiv (Cornell University)|Sep 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、自己教師ありマスクトークン予測（MTP）タスクと勾配類似度を用いてネガティブ勾配をフィルタリングする自己適応的メタラーナーを活用することで、限られたサポートデータからの過剰適合を低減し、一般化性能を向上させる、最適化ベースのメタラーニングフレームワークAMGS（勾配類似度による自己適応的メタラーナー）を提案する。本手法は、少数ショット学習のベンチマークで最先端の性能を達成する。

ABSTRACT

Few-shot text classification aims to classify the text under the few-shot scenario. Most of the previous methods adopt optimization-based meta learning to obtain task distribution. However, due to the neglect of matching between the few amount of samples and complicated models, as well as the distinction between useful and useless task features, these methods suffer from the overfitting issue. To address this issue, we propose a novel Adaptive Meta-learner via Gradient Similarity (AMGS) method to improve the model generalization ability to a new task. Specifically, the proposed AMGS alleviates the overfitting based on two aspects: (i) acquiring the potential semantic representation of samples and improving model generalization through the self-supervised auxiliary task in the inner loop, (ii) leveraging the adaptive meta-learner via gradient similarity to add constraints on the gradient obtained by base-learner in the outer loop. Moreover, we make a systematic analysis of the influence of regularization on the entire framework. Experimental results on several benchmarks demonstrate that the proposed AMGS consistently improves few-shot text classification performance compared with the state-of-the-art optimization-based meta-learning approaches.

研究の動機と目的

• 少数ショットデータと複雑なモデルとの不一致が引き起こす過剰適合を是正すること。
• 有用な勾配信号と有害な勾配信号を区別することで、メタラーニングにおけるモデルの一般化性能を向上させること。
• 計算コストを増加させることなく、メタトレーニング中のタスク分布の多様性を高めること。
• パラメータ更新に有益な勾配のみを適応的に選択する勾配ベースのメタラーナーを開発すること。

提案手法

• 内側ループで、未ラベルテキストを用いてタスク分布を豊かにする自己教師ありマスクトークン予測（MTP）タスクを導入する。
• クエリセットの損失勾配とベースラーナーが蓄積した勾配との間の勾配類似度を用いて、関連性を評価する。
• クエリセットの勾配がベースラーナーの更新方向と正しく一致する場合にのみ、メタパラメータを更新する自己適応的メタラーナーを適用する。
• コサイン類似度を用いて勾配方向の整合性を測定し、外側ループでの選択的勾配フィルタリングを可能にする。
• MTPと勾配ベースのメタラーニングを統合することで、表現学習と最適化安定性の両方を同時に向上させる。
• 計算効率を維持しつつ、効果的な勾配フィルタリングを可能にするために、1次近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習は、低データ環境下での少数ショットテキスト分類における一般化性能を向上させるか？
• RQ2 勾配類似度によるネガティブ勾配のフィルタリングは、メタラーナーの性能を向上させ、過剰適合を低減するか？
• RQ3 MTPと自己適応的勾配選択の統合は、少数ショットベンチマーク全体におけるモデルのロバストネスにどのように寄与するか？
• RQ4 MTPは、メタトレーニングおよびメタテストフェーズの両方において、全体の性能にどの程度寄与しているか？

主な発見

• 1ショット15ウェイのBanking77ベンチマークにおいて、AMGSは63.62%の精度を達成し、次に優れた手法より5.11ポイント高い。
• Clinc150では、1ショット15ウェイ設定で84.93%の精度を記録し、クエリセットおよびサポートセットの両方の勾配を用いたベースラインより1.21%高い。
• メタトレーニングでMTPを削除すると、性能が約0.8%低下し、MTPがタスク分布の拡張に果たす役割が確認された。
• メタテスト時にMTPを追加すると、さらに0.5%の精度向上が見られ、サポートセットにおけるロバストネスの向上が示された。
• T-SNE可視化により、AMGSは特に曖昧または類似するクラスにおいて、REPTILEよりもより分離され、質の高い文の表現を生成することが確認された。
• アブレーションスタディの結果、勾配類似度フィルタリングを施した自己適応的メタラーナーは、すべての勾配を無差別に使用する戦略を常に上回る性能を示した。