[论文解读] From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis

Yang Long, Li Liu+4 more|arXiv (Cornell University)|May 4, 2017

Domain Adaptation and Few-Shot Learning参考文献 42被引用 35

一句话总结

该论文提出了一种名为未见视觉数据合成（Unseen Visual Data Synthesis, UVDS）的新型零样本学习（Zero-shot Learning, ZSL）框架，仅利用语义属性即可生成高质量的未见类别视觉特征，无需真实图像。通过引入扩散正则化（Diffusion Regularisation）以平衡特征方差并减少训练偏差，UVDS 将 ZSL 转化为传统的监督分类任务，在四个基准数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Robust object recognition systems usually rely on powerful feature extraction mechanisms from a large number of real images. However, in many realistic applications, collecting sufficient images for ever-growing new classes is unattainable. In this paper, we propose a new Zero-shot learning (ZSL) framework that can synthesise visual features for unseen classes without acquiring real images. Using the proposed Unseen Visual Data Synthesis (UVDS) algorithm, semantic attributes are effectively utilised as an intermediate clue to synthesise unseen visual features at the training stage. Hereafter, ZSL recognition is converted into the conventional supervised problem, i.e. the synthesised visual features can be straightforwardly fed to typical classifiers such as SVM. On four benchmark datasets, we demonstrate the benefit of using synthesised unseen data. Extensive experimental results suggest that our proposed approach significantly improve the state-of-the-art results.

研究动机与目标

• 解决在无真实训练图像的情况下识别未见视觉类别的问题。
• 克服现有 ZSL 方法的局限性，如结构差异、训练偏差以及特征嵌入中的方差衰减问题。
• 通过为未见类别生成合成视觉特征，使传统监督分类器（如支持向量机 SVM）得以应用。
• 通过结构化且方差均衡的特征合成，提升零样本识别中的泛化能力与性能。

提出的方法

• UVDS 框架利用潜在结构保持嵌入空间，从语义属性中合成视觉特征。
• 提出一种新型的扩散正则化（Diffusion Regularisation, DR）组件，通过求解正交旋转问题，在特征维度间实现方差平衡。
• 该方法优化嵌入过程，以减少已见类别与未见类别之间的结构差异和训练偏差。
• 采用正则化回归方法，结合全局正则化与扩散正则化，以稳定特征学习过程。
• 使用最近邻分类和 SVM 对合成特征进行评估，证明其与标准监督学习流程具有良好的兼容性。
• 框架在类别级和图像级属性设置下均进行了评估，表现出跨场景的鲁棒性。

实验结果

研究问题

• RQ1 能否仅使用语义属性而无需真实图像，有效合成未见类别的视觉特征？
• RQ2 如何缓解特征嵌入空间中的方差衰减问题，以提升零样本学习中的泛化能力？
• RQ3 与基线回归方法相比，所提出的扩散正则化在多大程度上减少了训练偏差并提升了性能？
• RQ4 合成的视觉特征能否在传统监督分类器（如 SVM）中有效应用？

主要发现

• UVDS 在四个基准数据集上显著优于当前最先进（SOTA）的 ZSL 方法，实现了最高的识别率。
• 所提出的扩散正则化有效平衡了特征维度间的方差，使合成特征更具信息量且更鲁棒。
• 与无正则化的线性回归相比，该方法平均将训练偏差降低了 30%，提升了从已见类别到未见类别的泛化能力。
• 在 CUB 数据集上，合成特征实现了 45.72% 的识别率，表明在细粒度识别任务中也表现出强劲性能。
• 该方法在类别级和图像级属性设置下均表现稳定，两种场景间性能无显著差异。
• 定性结果表明，使用合成特征进行最近邻检索在 80% 的成功案例中能检索到同一类别的真实图像，证实了特征质量。