[論文レビュー] Few-shot Text Classification with Distributional Signatures

Yujia Bao, Menghua Wu+2 more|arXiv (Cornell University)|Aug 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 88

ひとこと要約

分布署位シグネチャを用いて単語レベルの注意を生成するメタ学習モデルを提案。これにより少数ショットのテキストおよび関係分類を効果的に行い、語彙ベースのベースラインを上回る。

ABSTRACT

In this paper, we explore meta-learning for few-shot text classification. Meta-learning has shown strong performance in computer vision, where low-level patterns are transferable across learning tasks. However, directly applying this approach to text is challenging--lexical features highly informative for one task may be insignificant for another. Thus, rather than learning solely from words, our model also leverages their distributional signatures, which encode pertinent word occurrence patterns. Our model is trained within a meta-learning framework to map these signatures into attention scores, which are then used to weight the lexical representations of words. We demonstrate that our model consistently outperforms prototypical networks learned on lexical knowledge (Snell et al., 2017) in both few-shot text classification and relation classification by a significant margin across six benchmark datasets (20.0% on average in 1-shot classification).

研究の動機と目的

• lexical features のみがタスク間で移転しにくい場合の少数ショットテキスト分類の動機付けと改善。
• distributional signatures（例： unigram 統計量）を活用してタスク間で注意を伝達。
• 少数のラベル付き例から迅速な適応を可能にするアン〇ファン attention generator と ridge regressor の統合。
• 単語置換の摂動に対する頑健性の理論的妥当性の提供。
• テキストおよび関係分類の6データセットで経験的に検証し、ベースラインを上回ることを示す。

提案手法

• general word importance と class-specific importance を捉える distributional signatures s(x) と t(x) を定義。
• s(x) と t(x) を連結し、learned ベクトルとの内積で word-level attention α_i を計算する biLSTM への融合。
• 各入力単語埋め込みに対して ψ(x) = sum_i α_i f_ebd(x_i) という attention-weighted lexical 表現を用いる。
• support 集合上でリッジ回帰を訓練し、φ(x) をクラスラベルへマッピングする閉形式解 W = Φ_S^T(Φ_SΦ_S^T + λI)^{-1}Y_S。
• query 集合上で Y_Q_hat = a Φ_Q W + b を用いて予測を較正し、確率には softmax を適用。
• ridge regressor のフィードバックを用いて cross-entropy 損失で attention generator を end-to-end 学習。
• AttGen が unigram 確率を保持する双射を保つ全射に対して単語置換摂動に不変であることを証明。

実験結果

リサーチクエスチョン

• RQ1 distributional signatures を用いて NLP タスク間で注意を伝達して robust な few-shot 学習が可能か。
• RQ2 distributional signatures に導かれた attention generator は few-shot 設定でテキストおよび関係分類の lexical meta-learner を上回るか。
• RQ3 学習された注意は単語置換摂動に頑健で unseen class へ generalize できるか。
• RQ4 提案アーキテクチャはテキストと関係の多様なデータセットで、1-shot および 5-shot の双方でどの程度性能を発揮するか。

主な発見

• 提案モデルは 6 データセットにおいて 1-shot および 5-shot の両方で最高精度を達成した。
• 平均して、モデルは best baseline より 5-way 1-shot 精度を 7.5% 、5-way 5-shot 精度を 3.9% 向上。
• Reuters/他データセットで 1-shot 分類において cnn + proto と比較すると平均で 20.0% の改善。
• アブレーションにより s(·) と t(·) の両方が性能に寄与することが示され、特に s(·) の影響が大きく、biLSTM 融合は結果をわずかに向上。
• 未知クラスへの一般化は lexicon-aware メタ学習よりも優れており、Reuters の学習曲線と定性的な注意可視化から示される。
• BERT の文脈化は FewRel の性能を向上させるが HuffPost ではそうでなく、文脈化表現のタスク依存的利得を示す。