[论文解读] Adaptive Cross-Modal Few-Shot Learning

Xing Chen, Negar Rostamzadeh+2 more|arXiv (Cornell University)|Feb 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 62被引用 5

一句话总结

本文提出自适应模态混合机制（AM3），一种新颖的方法，通过在少样本学习中自适应地结合视觉与语义特征，以提升分类准确率。AM3根据数据稀缺性动态加权模态贡献，在低少样本设置下表现尤为出色，显著优于单模态与模态对齐方法，在miniImageNet、tieredImageNet和CUB-200数据集上达到最先进性能。

ABSTRACT

Metric-based meta-learning techniques have successfully been applied to few-shot classification problems. In this paper, we propose to leverage cross-modal information to enhance metric-based few-shot learning methods. Visual and semantic feature spaces have different structures by definition. For certain concepts, visual features might be richer and more discriminative than text ones. While for others, the inverse might be true. Moreover, when the support from visual information is limited in image classification, semantic representations (learned from unsupervised text corpora) can provide strong prior knowledge and context to help learning. Based on these two intuitions, we propose a mechanism that can adaptively combine information from both modalities according to new image categories to be learned. Through a series of experiments, we show that by this adaptive combination of the two modalities, our model outperforms current uni-modality few-shot learning methods and modality-alignment methods by a large margin on all benchmarks and few-shot scenarios tested. Experiments also show that our model can effectively adjust its focus on the two modalities. The improvement in performance is particularly large when the number of shots is very small.

研究动机与目标

• 为解决单模态少样本学习方法在小样本标注数据下表现受限的问题，通过引入跨模态信息。
• 克服模态对齐方法的不足，后者强制将异质的视觉与语义空间映射到共享结构中，可能损失判别性信息。
• 开发一种机制，根据数据可用性与类别特性，自适应地利用视觉与语义模态的优势。
• 通过使用无监督文本特征作为上下文先验知识，提升少样本分类性能，尤其在低少样本设置下。

提出的方法

• AM3基于基于度量的元学习框架（如ProtoNets++和TADAM），利用学习到的嵌入空间进行少样本分类。
• 该方法引入一个可学习的混合系数λ，在推理过程中对视觉与语义特征表示进行凸组合。
• 混合系数λ按每个任务与每个类别独立预测，实现对每个少样本任务中模态强度的动态适应。
• 模型通过元训练进行端到端训练，每个元训练episode模拟一个少样本分类任务，包含来自两种模态的支持集与查询集。
• AM3不强制实施模态对齐；相反，它将视觉与语义特征视为独立的知识源，并学习在何时更依赖某一模态。
• 自适应机制通过可微损失函数进行优化，该损失函数在鼓励准确分类的同时，通过λ学习模态注意力。

实验结果

研究问题

• RQ1 自适应融合视觉与语义特征是否能超越固定模态对齐或单模态基线方法，在少样本分类中实现性能提升？
• RQ2 模型的模态注意力（λ）如何根据样本数量变化与类别特定特征进行自适应调整？
• RQ3 当视觉数据极度稀缺（如1-shot）时，引入无监督文本特征是否能显著提升性能？
• RQ4 自适应机制是否在低少样本设置下更有效，此时视觉信号可能具有噪声或不足？
• RQ5 在多样化的基准数据集上，AM3与当前最先进单模态与跨模态少样本学习方法相比表现如何？

主要发现

• 在5-way 1-shot设置下，AM3-TADAM在miniImageNet上达到69.08%的准确率，显著超越此前最先进方法。
• 在tieredImageNet上，AM3-TADAM在5-way 1-shot设置下达到82.58%的准确率，展现出跨数据集的强大泛化能力。
• 随着样本数量增加，AM3与其主干模型之间的性能差距缩小，表明自适应机制在视觉数据稀缺时最为有效。
• 混合系数λ的方差与性能差距相关：λ方差越低，性能增益越小，表明类别特定的自适应是性能提升的关键驱动力。
• AM3显著优于模态对齐基线方法，尤其在1-shot场景中，表明强制对齐在少样本学习中会损害性能。
• 在CUB-200上，AM3在少样本与广义少样本学习设置中均保持卓越性能，证实其鲁棒性与泛化能力。