[论文解读] A Graph-Theoretic Framework for Understanding Open-World Semi-Supervised Learning

Yiyou Sun, Zhenmei Shi+1 more|arXiv (Cornell University)|Nov 6, 2023

Data-Driven Disease Surveillance被引用 4

一句话总结

本文提出了一种图论框架用于开放世界半监督学习，通过图分解形式化聚类过程，实现理论分析与可证明的保证。该方法——谱开放世界表示学习（SORL）——最小化等价于谱分解的损失，当标记数据增强与未标记数据的连接时，可提升已知类和新类的聚类性能。

ABSTRACT

Open-world semi-supervised learning aims at inferring both known and novel classes in unlabeled data, by harnessing prior knowledge from a labeled set with known classes. Despite its importance, there is a lack of theoretical foundations for this problem. This paper bridges the gap by formalizing a graph-theoretic framework tailored for the open-world setting, where the clustering can be theoretically characterized by graph factorization. Our graph-theoretic framework illuminates practical algorithms and provides guarantees. In particular, based on our graph formulation, we apply the algorithm called Spectral Open-world Representation Learning (SORL), and show that minimizing our loss is equivalent to performing spectral decomposition on the graph. Such equivalence allows us to derive a provable error bound on the clustering performance for both known and novel classes, and analyze rigorously when labeled data helps. Empirically, SORL can match or outperform several strong baselines on common benchmark datasets, which is appealing for practical usage while enjoying theoretical guarantees.

研究动机与目标

• 为解决开放世界半监督学习中缺乏理论基础的问题，其中模型需识别已知类和新类。
• 通过图论视角，形式化标记数据在塑造已知类和新类表示中的作用。
• 提供与标记数据连接到未标记数据强度相关的聚类性能可证明误差界。
• 开发一种实用算法SORL，利用谱分解实现端到端训练并具备理论保证。
• 通过实证验证，SORL在基准数据集上的表现与基线模型相当或更优，同时保持理论严谨性。

提出的方法

• 构建一个图结构，其中顶点为所有数据点（包括标记和未标记数据），边由监督信号和自监督信号定义。
• 基于标记和未标记数据的联合结构定义图拉普拉斯矩阵，以建模类别间关系。
• 提出一个等价于图谱分解的学习目标，实现表示学习的闭式分析。
• 提出SORL算法，通过最小化图拉普拉斯矩阵谱分解等价的损失函数。
• 使用随机梯度下降对深度神经网络进行端到端训练，配备可学习的投影头。
• 采用UMAP进行可视化，并使用归纳式半监督K-means结合匈牙利匹配法评估聚类准确率。

实验结果

研究问题

• RQ1 在开放世界半监督学习中，标记数据如何影响已知类和新类的聚类？
• RQ2 在何种条件下，标记数据能提升新类的聚类性能？
• RQ3 图表示的谱分解能否为开放世界聚类提供理论保证？
• RQ4 标记数据与未标记数据之间的连通性与聚类性能之间存在何种正式关系？
• RQ5 图论框架能否统一开放世界半监督学习的理论分析与实用算法设计？

主要发现

• 理论分析表明，若某类与标记数据的整体连接强度超过其自聚类能力，则其聚类性能将得到提升。
• 最小化SORL损失在数学上等价于对图执行谱分解，从而实现聚类性能的闭式分析。
• SORL在CIFAR-10和CIFAR-100上达到与强基线相当或更优的性能，报告了已知类的准确率和新类簇的聚类准确率。
• 在CIFAR-10上，SORL在已知类上实现高分类准确率，在新数据上实现强聚类准确率，特定超参数为ηₗ=0.25和ηᵤ=1。
• 在CIFAR-100上，SORL在400个训练周期内使用ηₗ=0.0225和ηᵤ=3实现优异性能，整体准确率超越基线。
• 该框架提供了可证明的误差界，量化了标记数据在多大程度上对新类聚类有实质性贡献。