[论文解读] Learning to Affiliate: Mutual Centralized Learning for Few-shot Classification

Yang Liu, Weifeng Zhang+4 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用 9

一句话总结

本文提出互惠中心化学习（MCL），一种用于少样本分类的双向框架，通过马尔可夫过程中在查询与支持特征集之间的双向随机游走，建模二者之间的互惠关联。通过将密集特征的可及性度量为中心性分数，MCL 在计算开销极小的情况下，在少样本基准上实现了最先进性能。

ABSTRACT

Few-shot learning (FSL) aims to learn a classifier that can be easily adapted to accommodate new tasks not seen during training, given only a few examples. To handle the limited-data problem in few-shot regimes, recent methods tend to collectively use a set of local features to densely represent an image instead of using a mixed global feature. They generally explore a unidirectional query-to-support paradigm in FSL, e.g., find the nearest/optimal support feature for each query feature and aggregate these local matches for a joint classification. In this paper, we propose a new method Mutual Centralized Learning (MCL) to fully affiliate the two disjoint sets of dense features in a bidirectional paradigm. We associate each local feature with a particle that can bidirectionally random walk in a discrete feature space by the affiliations. To estimate the class probability, we propose the features' accessibility that measures the expected number of visits to the support features of that class in a Markov process. We relate our method to learning a centrality on an affiliation network and demonstrate its capability to be plugged in existing methods by highlighting centralized local features. Experiments show that our method achieves the state-of-the-art on both miniImageNet and tieredImageNet.

研究动机与目标

• 为解决少样本学习中单向特征匹配的局限性，通过建模查询与支持特征之间的互惠关联。
• 提出一种基于马尔可夫过程的新型密集特征可及性度量，用于估计类别概率。
• 证明可将归纳学习中的标签传播方法通过将密集特征视为未标记数据，适配至归纳式少样本学习。
• 表明所提出的中心性度量等价于关联网络中的单模特征向量中心性，从而支持与现有模型的即插即用集成。
• 在标准少样本基准上实现最先进性能，同时保持高效推理。

提出的方法

• 将每个局部特征关联至一个粒子，使其在离散特征空间中于查询与支持特征集之间执行双向随机游走。
• 将预测概率定义为在时齐马尔可夫过程中访问特定类别特征的期望访问次数，该度量称为“密集特征可及性”。
• 使用Katz近似高效计算随机游走的平稳分布，通过分块矩阵求逆将时间复杂度降低至O(r³)。
• 将双部特征集建模为关联网络，并证明可及性度量对应于单模特征向量中心性。
• 通过用任务中心化的局部特征替代全局平均池化，将MCL中心性作为插件模块集成至基于全局特征的模型（如ProtoNet和RelationNet）中。
• 应用Grad-CAM可视化，定性验证MCL聚焦于语义相关区域，并促进支持与查询特征之间的相互对齐。

实验结果

研究问题

• RQ1 查询与支持特征集之间的双向特征关联是否能超越单向匹配范式，提升少样本分类性能？
• RQ2 在马尔可夫过程中度量对特定类别特征的期望访问次数，是否能产生更鲁棒且泛化能力更强的分类分数？
• RQ3 能否通过将密集特征视为未标记数据，有效将归纳式标签传播方法适配至归纳式少样本学习设置？
• RQ4 所提出的密集特征可及性是否等价于已知的网络中心性度量？该等价性是否支持理论基础构建与模型集成？
• RQ5 MCL框架能否实现高效计算，并在无显著计算成本下达到最先进性能？

主要发现

• MCL在标准少样本基准上实现最先进性能，优于现有基于密集特征的方法（如DN4、DeepEMD和FRN）。
• MCL-Katz近似在α=0.5时，于5类1-shot任务（12×12特征图）下每轮推理仅需29.10ms，表明尽管采用双向计算，仍具备极低推理开销。
• 通过针对特殊结构(I - αP)的分块矩阵求逆，将时间复杂度降低至O(r³)，实现高效计算。
• Grad-CAM可视化结果证实，MCL聚焦于语义相关区域，并促进支持与查询特征之间的相互对齐。
• 实验表明，通过双向游走引入互惠关联可显著提升性能，消融研究进一步验证了双向范式的优势。
• 该方法可无缝集成至现有基于全局特征的模型（如ProtoNet），通过将全局平均池化替换为任务中心化的局部特征，显著提升性能。