[论文解读] Image Deformation Meta-Networks for One-Shot Learning

Zitian Chen, Yanwei Fu+4 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用 24

一句话总结

本文提出图像形变元网络（IDeMe-Net），一种元学习框架，通过融合查询图像和图库图像的图像块，合成多样化且语义有意义的形变图像，以增强少样本训练数据。该方法通过端到端优化形变子网络和嵌入网络，在miniImageNet和ImageNet-1K基准上实现最先进性能，显著提升零样本分类准确率。

ABSTRACT

Humans can robustly learn novel visual concepts even when images undergo various deformations and lose certain information. Mimicking the same behavior and synthesizing deformed instances of new concepts may help visual recognition systems perform better one-shot learning, i.e., learning concepts from one or few examples. Our key insight is that, while the deformed images may not be visually realistic, they still maintain critical semantic information and contribute significantly to formulating classifier decision boundaries. Inspired by the recent progress of meta-learning, we combine a meta-learner with an image deformation sub-network that produces additional training examples, and optimize both models in an end-to-end manner. The deformation sub-network learns to deform images by fusing a pair of images --- a probe image that keeps the visual content and a gallery image that diversifies the deformations. We demonstrate results on the widely used one-shot learning benchmarks (miniImageNet and ImageNet 1K Challenge datasets), which significantly outperform state-of-the-art approaches. Code is available at https://github.com/tankche1/IDeMe-Net.

研究动机与目标

• 解决仅有一两个标注样本可用于新类别时的零样本视觉识别挑战。
• 通过生成保留语义内容但非真实感的形变图像，提升分类器鲁棒性与决策边界学习能力。
• 利用基础类别中的无监督图库图像，通过端到端元学习合成多样化、互补的训练样本。
• 证明尽管视觉上不自然，但形变图像仍包含关键语义信息，可增强少样本泛化能力。

提出的方法

• 形变子网络线性融合查询图像（保留视觉内容）和图库图像（引入外观变化）的图像块，生成形变图像。
• 网络将查询图像和图库图像均划分为九个空间图像块，并通过可微融合机制学习逐块混合权重。
• 整个系统通过元学习进行端到端训练：元学习器在基础类别上优化形变网络和嵌入网络，以泛化到新类别。
• 嵌入子网络将图像映射为用于零样本分类的特征表示，而形变子网络则被训练以生成能提升分类器性能的增强样本。
• 该方法采用联合优化目标，包含在新类别上的分类损失以及在多个少样本任务上的元损失。
• 该方法在miniImageNet和ImageNet-1K Challenge数据集上进行评估，嵌入网络采用ResNet-18主干网络。

实验结果

研究问题

• RQ1 通过图像融合合成形变图像是否能提升零样本学习中的少样本泛化能力？
• RQ2 尽管视觉上不真实，但语义上有意义的形变图像是否有助于学习更优的决策边界？
• RQ3 元学习框架能否有效优化形变子网络，以生成对少样本分类有用的增强样本？
• RQ4 合成形变图像的数量如何影响模型性能与泛化能力？

主要发现

• 在miniImageNet基准的1-shot设置下，IDeMe-Net达到59.14%的top-1准确率，在5-shot设置下达到74.63%，优于所有先前的最先进方法。
• 在ImageNet-1K Challenge数据集上，模型的5-shot top-5准确率随合成形变图像数量增加而提升，在n_aug > 8时趋于饱和。
• t-SNE可视化显示，IDeMe-Net生成的形变图像在类别流形上广泛分布，并聚集在决策边界附近，而基线噪声增强图像则不具备此特性。
• 该方法能有效将具有误导性的图库图像形变回正确的类别流形，表明对噪声或模糊输入具有鲁棒性。
• 消融实验表明，形变子网络显著提升性能，其中'IDeMe-Net - Deform'变体（使用真实图库图像）因对齐问题表现较差。
• 性能增益在多个少样本学习基准上保持一致，验证了所提数据增强策略的泛化能力。