[论文解读] Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport

Dandan Guo, Long Tian+3 more|arXiv (Cornell University)|Oct 9, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出了一种分层最优传输（H-OT）框架，用于少样本学习，通过在新样本与基础类别之间学习传输计划，自适应地校准特征分布。通过将基础类别建模为基于其样本的分布（利用低层次最优传输），并使用高层次最优传输计算自适应权重，该方法在无需微调的情况下提升了少样本泛化能力，即使生成的特征更少，也优于Free-Lunch等基线方法。

ABSTRACT

Few-shot classification aims to learn a classifier to recognize unseen classes during training, where the learned model can easily become over-fitted based on the biased distribution formed by only a few training examples. A recent solution to this problem is calibrating the distribution of these few sample classes by transferring statistics from the base classes with sufficient examples, where how to decide the transfer weights from base classes to novel classes is the key. However, principled approaches for learning the transfer weights have not been carefully studied. To this end, we propose a novel distribution calibration method by learning the adaptive weight matrix between novel samples and base classes, which is built upon a hierarchical Optimal Transport (H-OT) framework. By minimizing the high-level OT distance between novel samples and base classes, we can view the learned transport plan as the adaptive weight information for transferring the statistics of base classes. The learning of the cost function between a base class and novel class in the high-level OT leads to the introduction of the low-level OT, which considers the weights of all the data samples in the base class. Experimental results on standard benchmarks demonstrate that our proposed plug-and-play model outperforms competing approaches and owns desired cross-domain generalization ability, indicating the effectiveness of the learned adaptive weights.

研究动机与目标

• 解决现有少样本学习中分布校准时启发式或非自适应传输权重的局限性。
• 通过学习新样本与基础类别之间有原则性、数据驱动的相似性，提升泛化能力。
• 通过将源域统计信息迁移到目标域，实现有效的跨域少样本学习。
• 开发一种即插即用的框架，兼容任意预训练特征提取器，避免昂贵的微调过程。
• 构建一个两级最优传输系统，统一且可微分地建模类内样本权重与类间相似性。

提出的方法

• 将分布校准任务表述为新样本分布与基础类别分布之间的高层次最优传输（H-OT）问题。
• 引入低层次最优传输问题，通过将基础类别建模为其单个样本的分布，计算新样本与基础类别之间的代价。
• 将低层次OT的解（即基础类别内部的样本权重）用作高层次OT的代价函数，从而实现自适应、数据驱动的相似性学习。
• 学习高层次OT的最优传输计划，作为自适应权重矩阵，为每个新样本分配不同基础类别贡献的权重。
• 构建一个即插即用的框架，使用预训练主干网络在特征层面运行，避免对特征提取器进行微调。
• 应用学习到的传输计划，将基础类别的统计信息（如均值特征）迁移到新样本，以提升分类性能。

实验结果

研究问题

• RQ1 分层最优传输框架是否能比启发式或固定距离方法学习到更有效、更自适应的基类与新类之间的传输权重？
• RQ2 通过低层次OT将基类建模为其样本的分布，是否相比使用未加权平均，能更好地表征类别级别的相似性？
• RQ3 所提出的H-OT方法是否能在跨域设置中泛化，特别是在跨域少样本学习场景中？
• RQ4 通过H-OT学习到的自适应权重矩阵与top-k选择（如k=2）相比，在样本效率和准确率方面表现如何？
• RQ5 传输计划在多大程度上反映了基类与新类之间的语义关系？

主要发现

• H-OT在miniImageNet上对多种主干网络（Conv4、Conv6、ResNet10、ResNet18）均优于Free-Lunch基线，展现出在5-way-1-shot准确率上的稳定提升。
• H-OT仅使用50个生成特征即可达到约68.5%的准确率，而Free-Lunch需750个生成特征才能达到相似性能水平。
• 学习到的传输计划成功识别出语义相关的基类（如‘elephant’、‘bear’对于‘plain’），表明该方法捕捉到了有意义的语义相关性。
• 即使使用固定代价函数，H-OT仍优于Free-Lunch，证明了通过高层次OT学习到的自适应权重矩阵具有显著价值。
• 该方法在跨域少样本学习中保持了强大性能，展现出对源域之外分布的鲁棒性与泛化能力。
• 该框架与主干网络架构无关，无需微调，可与任意预训练特征提取器实现即插即用的集成。