[论文解读] Explanation-Guided Training for Cross-Domain Few-Shot Classification

Jiamei Sun, Sebastian Lapuschkin+4 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用 19

一句话总结

本文通过利用中间特征图的逐层相关性传播（LRP）分数，提出了一种解释引导的训练方法，以在训练过程中动态加权并优化特征，从而实现跨域少样本分类。该方法提升了模型在三个FSC模型（RelationNet、CAN、GNN）上的域间泛化能力，在五个数据集（miniImageNet、CUB、Cars、Places、Plantae）上均实现了稳定的性能提升，并减少了对源域的过拟合。

ABSTRACT

Cross-domain few-shot classification task (CD-FSC) combines few-shot classification with the requirement to generalize across domains represented by datasets. This setup faces challenges originating from the limited labeled data in each class and, additionally, from the domain shift between training and test sets. In this paper, we introduce a novel training approach for existing FSC models. It leverages on the explanation scores, obtained from existing explanation methods when applied to the predictions of FSC models, computed for intermediate feature maps of the models. Firstly, we tailor the layer-wise relevance propagation (LRP) method to explain the predictions of FSC models. Secondly, we develop a model-agnostic explanation-guided training strategy that dynamically finds and emphasizes the features which are important for the predictions. Our contribution does not target a novel explanation method but lies in a novel application of explanations for the training phase. We show that explanation-guided training effectively improves the model generalization. We observe improved accuracy for three different FSC models: RelationNet, cross attention network, and a graph neural network-based formulation, on five few-shot learning datasets: miniImagenet, CUB, Cars, Places, and Plantae. The source code is available at https://github.com/SunJiamei/few-shot-lrp-guided

研究动机与目标

• 为解决少样本学习中的域移位问题，即在某一领域上训练的模型无法泛化到未见领域的问题。
• 探究是否可以利用中间特征图的解释分数在训练过程中提升模型泛化能力。
• 开发一种与模型无关的训练策略，通过基于解释的特征加权机制减少对源域的过拟合。
• 在多样化的FSC模型和跨域少样本学习基准上评估解释引导训练的有效性。

提出的方法

• 将LRP方法适配用于解释少样本分类模型的预测结果，通过反向传播将相关性分数从最终预测结果传递至中间特征图。
• 为每个样本计算类别特定的LRP相关性分数，根据神经元对预测类别贡献程度分配其在特征图中的重要性。
• 通过将原始特征与对应的相关性分数相乘，构建LRP加权特征图，突出信息丰富的特征并抑制不相关的特征。
• 将LRP加权特征整合进训练过程，作为样本和类别相关的动态特征加权机制。
• 将解释引导训练与特征级变换（如批归一化类操作）结合，以进一步提升性能。
• 在训练过程中将LRP加权特征作为模型输入，使网络能够学习到更鲁棒且更具泛化能力的表示。

实验结果

研究问题

• RQ1 中间特征图的解释分数是否能有效用于引导少样本分类模型的训练？
• RQ2 解释引导训练是否能减少对源域的过拟合，并提升跨域少样本学习中的泛化能力？
• RQ3 基于LRP的特征加权如何影响学习到的特征表示的多样性与平衡性？
• RQ4 解释引导训练是否能有效应用于不同FSC架构（如RelationNet、CAN、GNN）？

主要发现

• 解释引导训练显著提升了三种不同FSC模型（RelationNet、跨注意力网络（CAN）、基于图神经网络的模型）的少样本分类准确率。
• 该方法在五个跨域少样本学习数据集（miniImageNet、CUB、Cars、Places、Plantae）上均实现了稳定的性能提升。
• 经过解释引导训练后，特征表示的方差（以$S^2$和95%-45%分位数差衡量）降低，表明特征学习更加平衡且多样化。
• 特征方差的降低并非源于一阶统计量下降，因为在某些情况下（如CAN），特征均值$f$反而上升，而$S^2$下降，表明特征稳定性得到改善。
• 定性分析的LRP热力图显示，模型能够聚焦于语义相关的图像区域（如狗的头部、窗框）以实现正确预测，同时对错误标签突出显示无关或对比性特征。
• 解释引导训练与特征级变换相结合可进一步提升性能，表明二者具有互补的优化效果。