[论文解读] Learning Dynamic Alignment via Meta-filter for Few-shot Learning

Chengming Xu, Chen Liu+6 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用 16

一句话总结

本文提出一种用于少样本学习的动态元滤波机制，通过从局部支持特征邻域中学习位置特定和通道特定的滤波权重，自适应地对齐查询特征。通过整合神经ODE实现自适应、连续的对齐，并结合动态邻域采样，该方法在miniImageNet和tiered-ImageNet上取得最先进性能，在5-shot任务中准确率最高提升1.16%，通过更优的特征精炼和减少冗余实现。

ABSTRACT

Few-shot learning (FSL), which aims to recognise new classes by adapting the learned knowledge with extremely limited few-shot (support) examples, remains an important open problem in computer vision. Most of the existing methods for feature alignment in few-shot learning only consider image-level or spatial-level alignment while omitting the channel disparity. Our insight is that these methods would lead to poor adaptation with redundant matching, and leveraging channel-wise adjustment is the key to well adapting the learned knowledge to new classes. Therefore, in this paper, we propose to learn a dynamic alignment, which can effectively highlight both query regions and channels according to different local support information. Specifically, this is achieved by first dynamically sampling the neighbourhood of the feature position conditioned on the input few shot, based on which we further predict a both position-dependent and channel-dependent Dynamic Meta-filter. The filter is used to align the query feature with position-specific and channel-specific knowledge. Moreover, we adopt Neural Ordinary Differential Equation (ODE) to enable a more accurate control of the alignment. In such a sense our model is able to better capture fine-grained semantic context of the few-shot example and thus facilitates dynamical knowledge adaptation for few-shot learning. The resulting framework establishes the new state-of-the-arts on major few-shot visual recognition benchmarks, including miniImageNet and tieredImageNet.

研究动机与目标

• 解决现有少样本学习方法忽略通道级差异、存在冗余匹配和对齐方式僵化的问题。
• 通过利用局部支持上下文动态建模空间和通道重要性，改进特征对齐。
• 通过神经ODE实现连续控制，实现自适应、任务感知的对齐，克服固定迭代次数的递归对齐局限。
• 通过仅采样支持特征的相关局部邻域而非使用完整支持特征，减少冗余。
• 通过聚焦于少样本样本中的高质量通道和显著区域，提升对新类别的知识适应能力。

提出的方法

• 基于输入的少样本支持图像，动态采样每个查询特征位置周围的局部邻域，利用可学习偏移量自适应选择相关上下文。
• 从采样邻域中预测位置特定和通道特定的动态元滤波器（DMF），以指导特征对齐。
• 应用DMF在查询和支持特征之间执行自适应、可学习的特征对齐，突出重要空间区域和通道。
• 使用神经常微分方程（ODE）将对齐过程建模为连续变换，实现在时间上的灵活且自适应的精炼。
• 在DMF模块中引入分组卷积，以平衡表达能力与计算成本，分组数量根据少样本设置进行调整（5-shot为160组，1-shot为64组）。
• 移除全局池化层以保留空间分辨率，提升监督密度，增强元滤波学习效果。

Figure 1: While position-specific alignment cannot eliminate the negative influence of badly-learned channels, channel-specific one can. CAN denotes Cross Attention Network [ 16 ] which is one of the position-specific alignment models in FSL.

实验结果

研究问题

• RQ1 动态的、位置和通道特定的滤波是否能超越静态或仅空间的滤波方法，改善少样本特征对齐？
• RQ2 通过神经ODE实现的自适应连续对齐与固定迭代次数的递归对齐相比，在泛化能力和鲁棒性方面表现如何？
• RQ3 局部邻域采样是否能在保留关键语义上下文的同时减少支持知识中的冗余？
• RQ4 当支持特征包含学习不佳的通道时，通道注意力在多大程度上能提升性能？
• RQ5 在不同样本设置（1-shot与5-shot）下，模型在信息容量需求不同的情况下的泛化能力如何？

主要发现

• 所提方法在miniImageNet和tiered-ImageNet上取得新的最先进性能，在5-shot任务中相比之前方法准确率提升1.16%。
• 移除全局池化层在1-shot任务中提升0.64%准确率，在5-shot任务中提升1.16%，归因于对空间细节的更好保留和更密集的监督。
• 使用神经ODE进行对齐在性能上优于固定迭代次数的递归对齐，尤其在5-shot任务中，固定迭代导致准确率下降0.95%。
• 基于ODE的对齐模型在所有任务中均持续优于所有基线模型，证明了自适应连续精炼的有效性。
• DMF模块中的分组数量显著影响性能，160组在5-shot时最优，64组在1-shot时最优，证实了根据样本级别自适应调整容量的必要性。
• 可视化结果表明，动态元滤波器能成功突出目标物体并抑制噪声或无关通道，在特征对齐质量上优于CAN和非对齐基线模型。

Figure 2: Schematic illustration of our proposed model for 1-shot task. Support and query features are extracted with a backbone network $f_{emb}$ . Then two features are employed to predict an offset map using the local knowledge, which is used to dynamically sample the support feature to collect u