[论文解读] Manifold Graph with Learned Prototypes for Semi-Supervised Image Classification

Chia-Wen Kuo, Chih‐Yao Ma+2 more|arXiv (Cornell University)|Jun 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 4

一句话总结

该论文提出了一种新颖的端到端流形图框架，结合可学习原型用于半监督图像分类，通过图网络联合优化特征学习、图连接性和特征传播。通过引入一个原型生成器，创建多样化且类别特定的原型，并利用它们在动态学习的数据流形上进行信息传播，该方法在SVHN上实现了3.35%的最先进错误率，在CIFAR-10上为8.27%，在CIFAR-100上为33.83%，在使用更少标签的情况下，平均相对错误率降低了41.3%。

ABSTRACT

Recent advances in semi-supervised learning methods rely on estimating the categories of unlabeled data using a model trained on the labeled data (pseudo-labeling) and using the unlabeled data for various consistency-based regularization. In this work, we propose to explicitly leverage the structure of the data manifold based on a Manifold Graph constructed over the image instances within the feature space. Specifically, we propose an architecture based on graph networks that jointly optimizes feature extraction, graph connectivity, and feature propagation and aggregation to unlabeled data in an end-to-end manner. Further, we present a novel Prototype Generator for producing a diverse set of prototypes that compactly represent each category, which supports feature propagation. To evaluate our method, we first contribute a strong baseline that combines two consistency-based regularizers that already achieves state-of-the-art results especially with fewer labels. We then show that when combined with these regularizers, the proposed method facilitates the propagation of information from generated prototypes to image data to further improve results. We provide extensive qualitative and quantitative experimental results on semi-supervised benchmarks demonstrating the improvements arising from our design and show that our method achieves state-of-the-art performance when compared with existing methods using a single model and comparable with ensemble methods. Specifically, we achieve error rates of 3.35% on SVHN, 8.27% on CIFAR-10, and 33.83% on CIFAR-100. With much fewer labels, we surpass the state of the arts by significant margins of 41% relative error decrease on average.

研究动机与目标

• 通过在图像嵌入空间中使用可学习图来显式建模数据流形结构，以改进半监督图像分类。
• 解决现有方法依赖固定或预计算图结构或多阶段流水线的局限性。
• 开发一种基于原型的机制，以紧凑方式表示数据流形中类别特定区域，实现可扩展且高效的特征传播。
• 以端到端方式联合优化特征学习、图连接性和特征聚合，以提升泛化能力。
• 与单模型及集成方法的最先进方法相比，特别是在低标签设置下，展示显著的性能提升。

提出的方法

• 该方法构建一个流形图，其中图像实例为节点，边由嵌入空间中的可学习相似性函数定义，实现动态图结构学习。
• 采用图网络（GN）公式来传播和聚合图中的特征，通过邻域聚合改进图像表示。
• 提出一种新型原型生成器，学习一组既具代表性又多样化的类别特定原型，利用锚点损失和差异损失函数平衡有效性与分布范围。
• 通过统一的训练目标，端到端地联合优化图连接性、特征学习和原型生成。
• 该框架整合了一致性正则化器（VAT和Π-model）作为强基线，其性能进一步通过流形图和原型机制得到增强。
• 最终模型通过原型和邻近实例对测试图像特征进行传播，从而提升分类准确率。

实验结果

研究问题

• RQ1 一个联合优化的基于图的框架，同时学习数据流形结构和特征表示，是否能优于现有半监督学习方法？
• RQ2 可学习的原型机制在紧凑表示类别特定流形区域以实现特征传播方面有多高效？
• RQ3 对图连接性、特征学习和传播的端到端优化是否能带来更好的性能，尤其是在标注数据有限的情况下？
• RQ4 与强一致性正则化基线相比，所提出组件在泛化能力提升方面达到何种程度？
• RQ5 所学习的原型和图边在多大程度上与底层数据分布和类别边界对齐？

主要发现

• 所提出的流形图方法在SVHN上实现了3.35%的最先进错误率，超越了以往的单模型方法，并与集成方法相当。
• 在CIFAR-10上，该方法实现了8.27%的错误率，在低标签设置下相比先前最先进方法相对错误率降低了41.3%。
• 在CIFAR-100上，该方法达到了33.83%的错误率，优于大多数现有单模型方法，并在与集成技术的对比中表现出强劲竞争力。
• VAT与Π-model正则化器的结合构成了强基线，在标签较少时表现优异，而所提出的图结构和原型组件进一步提升了其性能。
• 可视化结果表明，所学习的原型在特征空间中与类别簇高度对齐，有时位于类别边界之间，有助于决策边界学习。
• 所学习的邻接矩阵呈现出明显的块对角模式，表明模型能够更强烈地连接同类别实例，反映出有效的流形结构发现能力。