[論文レビュー] Induction Networks for Few-Shot Text Classification

Ruiying Geng, Binhua Li+4 more|arXiv (Cornell University)|Feb 27, 2019

Topic Modeling参考文献 33被引用数 16

ひとこと要約

本稿では、動的ルーティングを用いて小規模なサポートセットから一般化されたクラスレベル表現を学習する、新しい少样本テキスト分類モデルであるInduction Networksを提案する。このモデルは、サンプルレベルの変動に起因するノイズを効果的に低減することで、英語のセンチメントおよび中国語の対話意図データセットの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Text classification tends to struggle when data is deficient or when it needs to adapt to unseen classes. In such challenging scenarios, recent studies have used meta-learning to simulate the few-shot task, in which new queries are compared to a small support set at the sample-wise level. However, this sample-wise comparison may be severely disturbed by the various expressions in the same class. Therefore, we should be able to learn a general representation of each class in the support set and then compare it to new queries. In this paper, we propose a novel Induction Network to learn such a generalized class-wise representation, by innovatively leveraging the dynamic routing algorithm in meta-learning. In this way, we find the model is able to induce and generalize better. We evaluate the proposed model on a well-studied sentiment classification dataset (English) and a real-world dialogue intent classification dataset (Chinese). Experiment results show that on both datasets, the proposed model significantly outperforms the existing state-of-the-art approaches, proving the effectiveness of class-wise generalization in few-shot text classification.

研究の動機と目的

• ラベル付きデータが乏しく、新しいクラスが僅か数例でのみ与えられる少样本テキスト分類の課題に対処すること。
• 同じクラス内での言語的変動に敏感な、従来の手法がサンプル単位の比較に依存するという限界を克服すること。
• サポートセット内の多様なサンプル間の共通する意味的パターンを捉えることで、一般化可能で視点に依存しないクラス表現を誘導すること。
• メタラーニングフレームワーク内でサンプルとクラスの階層的関係をモデル化することで、未観測クラスへの一般化を向上させること。

提案手法

• クエリおよびサポートセットのサンプルに対して、濃密で文脈に依存する表現を生成するエンコーダーモジュールを採用する。
• サンプル表現を入力キャプセル、クラス表現を出力キャプセルとして扱うインダクションモジュールを導入し、動的ルーティングを用いて情報を集約する。
• サンプルレベル特徴をクラスレベル表現にマッピングする行列変換を適用し、構造的な特徴伝搬を可能にする。
• 学習可能なパrameterを用いずに、同意によるルーティング機構を用いてキャプセル間の結合係数を動的に調整し、モデルのロバスト性を向上させる。
• 類似度を微分可能距離測定を用いてクエリとクラス表現の間で計算し、クラスラベルを予測する関係モジュールを実装する。
• エピソードベースのメタラーニング戦略を用いて、各エピソードが少样本分類タスクをシミュレートするように、モデル全体をエンド・トゥ・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 サンプル単位の比較に依存するのではなく、クラスレベル表現を学習することで、少样本テキスト分類モデルがより優れた一般化性能を達成できるか？
• RQ2 動的ルーティングは、同じクラスに属する多様なサンプル間で共通する意味的パターンを効果的に捉えられるか？
• RQ3 提案されたInduction Networkは、低リソース環境および実世界設定の両方で、既存の最先端モデルを上回る性能を発揮するか？
• RQ4 行列変換とルーティング機構は、特徴分離の向上およびモデルのロバスト性にどの程度寄与しているか？

主な発見

• ARSC中国語対話意図データセットにおいて、5-way 10-shot設定下で85.63%の精度を達成し、ベースラインのRelation Networkを顕著に上回った。
• IMDBセンチメント分類データセットでは、最先端の性能を達成し、未観測クラスへの強い一般化能力を示した。
• アブレーションスタディの結果、動的ルーティングを3回実行した場合が最適な性能を示し、それ以上の反復では改善が得られなかった。
• 動的ルーティングと関係モジュールを備えたモデルは、和集合プーリング（83.07%）や自己自己注意（85.15%）を用いたバージョンを上回り、ルーティング機構の優位性を確認した。
• t-SNE可視化により、Relation Networkと比較して、モデルがより分離可能で意味的に整合性のあるテキスト表現を学習していることが確認された。
• 行列変換ステップが特徴分離を顕著に向上させたことが、変換後のサポートセットサンプルのクラスタリングが明確になったことで示された。