[論文レビュー] Few-Shot Text Classification with Induction Network.

Ruiying Geng, Binhua Li+4 more|arXiv (Cornell University)|Feb 27, 2019

Topic Modeling被引用数 19

ひとこと要約

本論文では、メタラーニングフレームワーク内での動的ルーティングを用いて、サポートセットから一般化されたクラス別表現を学習することで、少数ショットテキスト分類を向上させるインダクションネットワークを提案する。このモデルは、英語のセンチメント分類および中国語ダイアログ意図分類データセットの両方で、最先端の手法よりも平均正答率が3%以上高い結果を達成している。

ABSTRACT

Text classification tends to struggle when data is deficient or when it needs to adapt to unseen classes. In such challenging scenarios, recent studies often use meta learning to simulate the few-shot task, in which new queries are compared to a small support set on a sample-wise level. However, this sample-wise comparison may be severely disturbed by the various expressions in the same class. Therefore, we should be able to learn a general representation of each class in the support set and then compare it to new queries. In this paper, we propose a novel Induction Network to learn such generalized class-wise representations, innovatively combining the dynamic routing algorithm with the typical meta learning framework. In this way, our model is able to induce from particularity to university, which is a more human-like learning approach. We evaluate our model on a well-studied sentiment classification dataset (English) and a real-world dialogue intent classification dataset (Chinese). Experiment results show that, on both datasets, our model significantly outperforms existing state-of-the-art models and improves the average accuracy by more than 3%, which proves the effectiveness of class-wise generalization in few-shot text classification.

研究の動機と目的

• 訓練データが不足している場合や新しいクラスが出現する場合の少数ショットテキスト分類の課題に対処すること。
• クラス内表現の変動に敏感な、メタラーニングにおけるサンプル単位の比較手法の限界を克服すること。
• 同じクラス内のサンプル間で一般化できるように、堅牢なクラスレベルの表現を形成する手法を開発すること。
• 独自のアーキテクチャを通じて、具体的な例から一般概念への人間らしいインダクションを再現できるように、メタラーニングモデルを設計すること。
• インスタンスレベルのマッチングではなく、クラス単位の一般化に焦点を当てることで、リソースが限られたテキスト分類タスクの性能を向上させること。

提案手法

• 少数のサポートセットから一般化されたクラスレベルの表現を学習するインダクションネットワークを導入する。
• 動的ルーティングとメタラーニングフレームワークを統合し、サポートサンプルを注意に基づいて統合的にクラスプロトタイプに集約する。
• 各サポートサンプルのクラスへの関連性に応じて、寄与度を動的に重みづける微分可能なルーティング機構を用いる。
• エピソード学習を用いて、各エピソードが少数ショット分類タスクを模倣するように、エンドツーエンドでモデルを訓練する。
• 注意機構を活用して、クエリサンプルと誘導されたクラス表現を一致させ、低ショット状況下でも正確な予測を可能にする。
• 動的ルーティングのインダクティブバイアスを活用し、具体的な例から抽象的なクラスレベルの概念へ一般化することで、表現の変動に対してより頑健になる。

実験結果

リサーチクエスチョン

• RQ1 少数のサポートサンプルから一般化されたクラス表現を学習することで、インスタンスレベルのマッチングを越えて少数ショットテキスト分類の性能を向上させることができるか？
• RQ2 テキスト分類におけるメタラーニングにおいて、従来のサンプル単位の比較と比較して、動的ルーティングによるクラス単位の一般化はどのように異なるか？
• RQ3 提案されたインダクションネットワークは、限られたラベル付きデータで多様なテキスト分類タスクにどの程度一般化できるか？
• RQ4 対話意図分類のようなリソースが限られた現実世界のシナリオにおいても、モデルは性能の向上を維持できるか？
• RQ5 具体的な例から一般概念を推論することで、モデルは人間のような帰納的推論を達成できるか？

主な発見

• インダクションネットワークは、英語のセンチメント分類および中国語ダイアログ意図分類データセットの両方で、既存の最先端モデルを顕著に上回っている。
• 前人研究の手法と比較して、平均正答率を3%以上向上させ、クラス単位の一般化の有効性を示している。
• リソースが限られたベンチマークと現実世界のテキスト分類ベンチマークの両方で一貫した性能向上を示しており、頑健性が裏付けられている。
• 動的ルーティング機構により、同じクラス内での多様な表現を統合されたプロトタイプに集約することで、より良い表現学習が可能になった。
• 限られたサポート例から一般化されたクラスレベルの特徴を誘導できる能力のおかげで、未観測クラスへの一般化性能が優れている。
• 結果から、インスタンスレベルのマッチングを超えて少数ショットテキスト分類を向上させるために、クラス単位の一般化が重要な要因であることが検証された。