[论文解读] Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification

Tianyi Lei, Honghui Hu+3 more|arXiv (Cornell University)|Sep 10, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种基于梯度相似性的自适应元学习器（AMGS），这是一种新颖的基于优化的元学习框架，用于少样本文本分类。通过利用自监督的掩码标记预测（MTP）任务和一种利用梯度相似性过滤负梯度的自适应元学习器，该方法在减少有限支持数据导致的过拟合的同时，提升了泛化能力。该方法在多个基准测试中实现了最先进性能。

ABSTRACT

Few-shot text classification aims to classify the text under the few-shot scenario. Most of the previous methods adopt optimization-based meta learning to obtain task distribution. However, due to the neglect of matching between the few amount of samples and complicated models, as well as the distinction between useful and useless task features, these methods suffer from the overfitting issue. To address this issue, we propose a novel Adaptive Meta-learner via Gradient Similarity (AMGS) method to improve the model generalization ability to a new task. Specifically, the proposed AMGS alleviates the overfitting based on two aspects: (i) acquiring the potential semantic representation of samples and improving model generalization through the self-supervised auxiliary task in the inner loop, (ii) leveraging the adaptive meta-learner via gradient similarity to add constraints on the gradient obtained by base-learner in the outer loop. Moreover, we make a systematic analysis of the influence of regularization on the entire framework. Experimental results on several benchmarks demonstrate that the proposed AMGS consistently improves few-shot text classification performance compared with the state-of-the-art optimization-based meta-learning approaches.

研究动机与目标

• 解决由于少样本数据与复杂模型之间不匹配而导致的少样本文本分类中的过拟合问题。
• 通过区分有用的与有害的梯度信号，提升元学习中的模型泛化能力。
• 在不增加计算成本的前提下，增强元训练期间的任务分布多样性。
• 开发一种基于梯度的自适应元学习器，仅选择有益梯度用于参数更新。

提出的方法

• 在内层循环中引入自监督的掩码标记预测（MTP）任务，利用未标注文本丰富任务分布。
• 利用查询集损失梯度与基础学习器累积梯度之间的梯度相似性来评估相关性。
• 应用一种自适应元学习器，仅当查询集梯度与基础学习器更新方向正向对齐时才更新元参数。
• 使用余弦相似度度量梯度方向的一致性，实现在外层循环中的选择性梯度过滤。
• 将MTP与基于梯度的元学习相结合，联合提升表征学习与优化稳定性。
• 采用一阶近似以保持计算效率，同时实现有效的梯度过滤。

实验结果

研究问题

• RQ1 在低数据环境下，自监督预训练能否提升少样本文本分类中的泛化能力？
• RQ2 通过梯度相似性过滤负梯度，能否提升元学习器性能并减少过拟合？
• RQ3 MTP与自适应梯度选择的结合如何影响模型在少样本基准上的鲁棒性？
• RQ4 MTP在元训练和元测试阶段对整体性能的贡献是什么？

主要发现

• 在1-shot 15-way Banking77基准上，AMGS达到63.62%的准确率，比次优方法高出5.11个百分点。
• 在Clinc150上，AMGS在1-shot 15-way设置下达到84.93%的准确率，较基线方法（同时使用查询集和支持集梯度）提升1.21个百分点。
• 在元训练中移除MTP会使性能下降约0.8%，证实其在扩展任务分布中的作用。
• 在元测试阶段添加MTP可进一步将准确率提升0.5%，表明其在支持集上增强了鲁棒性。
• T-SNE可视化结果表明，与REPTILE相比，AMGS生成的句子表征更具分离性且质量更高，尤其在模糊或相似类别中表现更优。
• 消融实验表明，采用梯度相似性过滤的自适应元学习器始终优于不加区分地使用所有梯度的策略。