[论文解读] Induction Networks for Few-Shot Text Classification

Ruiying Geng, Binhua Li+4 more|arXiv (Cornell University)|Feb 27, 2019

Topic Modeling参考文献 33被引用 16

一句话总结

本文提出了一种名为 Induction Networks 的新型 few-shot 文本分类模型，该模型通过动态路由从少量支持集样本中学习泛化的类别级表征，有效减少了样本级差异带来的噪声，在英语情感分析和中文对话意图数据集上均优于当前最先进方法。

ABSTRACT

Text classification tends to struggle when data is deficient or when it needs to adapt to unseen classes. In such challenging scenarios, recent studies have used meta-learning to simulate the few-shot task, in which new queries are compared to a small support set at the sample-wise level. However, this sample-wise comparison may be severely disturbed by the various expressions in the same class. Therefore, we should be able to learn a general representation of each class in the support set and then compare it to new queries. In this paper, we propose a novel Induction Network to learn such a generalized class-wise representation, by innovatively leveraging the dynamic routing algorithm in meta-learning. In this way, we find the model is able to induce and generalize better. We evaluate the proposed model on a well-studied sentiment classification dataset (English) and a real-world dialogue intent classification dataset (Chinese). Experiment results show that on both datasets, the proposed model significantly outperforms the existing state-of-the-art approaches, proving the effectiveness of class-wise generalization in few-shot text classification.

研究动机与目标

• 解决标注数据稀缺时 few-shot 文本分类的挑战，即仅凭少数样本识别新类别。
• 克服现有方法依赖样本间比较的局限性，此类方法对同一类别内的语言差异敏感。
• 通过捕捉支持集中多样化样本间的共享语义模式，构建通用的、视角不变的类别表征。
• 通过在元学习框架中建模样本与类别之间的层次关系，利用动态路由提升对未见类别的泛化能力。

提出的方法

• 使用编码器模块为查询样本和支持集样本生成密集的上下文表征。
• 引入归纳模块，将样本表征视为输入胶囊，类别表征视为输出胶囊，利用动态路由聚合信息。
• 应用矩阵变换将样本级特征映射到类别级表征，实现结构化的特征传播。
• 采用基于一致性的路由机制，动态调整胶囊间的耦合系数，且无需可学习参数，从而增强鲁棒性。
• 实现关系模块，使用可微分度量计算查询与类别表征之间的相似性，以预测类别标签。
• 采用基于任务的元学习策略端到端训练整个模型，每个任务模拟一个 few-shot 分类场景，包含支持集与查询集。

实验结果

研究问题

• RQ1 通过学习类别级表征而非依赖样本间比较，few-shot 文本分类模型能否实现更好的泛化？
• RQ2 动态路由在捕捉同一类别内多样化样本间共享语义模式方面效果如何？
• RQ3 所提出的 Induction Network 在低资源和真实场景下，是否均优于现有最先进模型？
• RQ4 矩阵变换与路由机制在提升特征分离能力和模型鲁棒性方面贡献有多大？

主要发现

• 在 ARSC 中文对话意图数据集的 5-way 10-shot 设置下，所提 Induction Network 达到 85.63% 的准确率，显著优于基线 Relation Network。
• 在 IMDB 情感分类数据集上，模型达到最先进性能，展现出对未见类别的强大泛化能力。
• 消融实验表明，动态路由进行 3 次迭代时性能达到最优，进一步增加迭代次数不再提升。
• 采用动态路由与关系模块的模型优于使用求和池化（83.07%）或自注意力机制（85.15%）的变体，证实了路由机制的优越性。
• t-SNE 可视化结果表明，与 Relation Network 相比，该模型学习到的文本表征更具可分性且语义更一致。
• 矩阵变换步骤显著提升了特征可分性，表现为变换后支持集样本聚类更加清晰。