[论文解读] A Quest for Structure: Jointly Learning the Graph Structure and Semi-Supervised Classification

Xuan Wu, Lingxiao Zhao+1 more|arXiv (Cornell University)|Sep 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用 7

一句话总结

该论文提出 PG-learn，一种并行图学习框架，通过基于梯度的优化和动态资源分配策略，自适应地调节特定维度的 RBF 带宽，联合优化图结构与半监督分类。在固定时间预算下，该方法在高维、噪声数据集上显著优于现有方法，展现出卓越的鲁棒性与可扩展性。

ABSTRACT

Semi-supervised learning (SSL) is effectively used for numerous classification problems, thanks to its ability to make use of abundant unlabeled data. The main assumption of various SSL algorithms is that the nearby points on the data manifold are likely to share a label. Graph-based SSL constructs a graph from point-cloud data as an approximation to the underlying manifold, followed by label inference. It is no surprise that the quality of the constructed graph in capturing the essential structure of the data is critical to the accuracy of the subsequent inference step [6]. How should one construct a graph from the input point-cloud data for graph-based SSL? In this work we introduce a new, parallel graph learning framework (called PG-learn) for the graph construction step of SSL. Our solution has two main ingredients: (1) a gradient-based optimization of the edge weights (more specifically, different kernel bandwidths in each dimension) based on a validation loss function, and (2) a parallel hyperparameter search algorithm with an adaptive resource allocation scheme. In essence, (1) allows us to search around a (random) initial hyperparameter configuration for a better one with lower validation loss. Since the search space of hyperparameters is huge for high-dimensional problems, (2) empowers our gradient-based search to go through as many different initial configurations as possible, where runs for relatively unpromising starting configurations are terminated early to allocate the time for others. As such, PG-learn is a carefully-designed hybrid of random and adaptive search. Through experiments on multi-class classification problems, we show that PG-learn significantly outperforms a variety of existing graph construction schemes in accuracy (per fixed time budget for hyperparameter tuning), and scales more effectively to high dimensional problems.

研究动机与目标

• 为解决半监督学习（SSL）中图结构学习这一关键但研究不足的挑战，其中不良的图构建会严重降低分类性能。
• 开发一种可扩展的任务驱动方法，利用标注数据指导图构建，而非依赖于固定带宽的 RBF 等默认相似性度量。
• 通过结合基于梯度的优化与自适应并行超参数搜索，克服高维数据中超参数搜索空间过大的问题。
• 实现高效且有效的超参数调优，通过动态分配资源给有前景的配置，提升准确率与可扩展性。
• 证明学习各维度带宽可增强模型灵活性与鲁棒性，尤其在存在噪声特征时表现更优。

提出的方法

• PG-learn 使用基于梯度的优化方法，对各维度特定的 RBF 带宽（σ₁:d）进行优化，以最小化验证损失函数，实现能自适应数据流形结构的灵活边权分配。
• 提出一种基于各维度权重参数化的学习排序目标函数，通过梯度下降迭代优化权重，以提升下游 SSL 任务的图质量。
• 框架采用带早期终止的并行超参数搜索：根据相对性能表现，提前终止表现不佳的配置，释放资源用于更有前景的配置。
• 采用自适应资源分配方案，随时间动态提升搜索分辨率，优先关注收敛更快或验证准确率更高的配置。
• 结合随机搜索与自适应搜索策略，形成混合方法，在高维设置下高效探索庞大的超参数空间。
• PG-learn 设计支持维度与样本数量的可扩展性，内存与运行时开销低，适用于大规模 SSL 任务。

实验结果

研究问题

• RQ1 与标准图构建方法相比，图结构与半监督分类的联合优化是否能提升分类准确率？
• RQ2 在高维、噪声数据集中，学习各维度 RBF 带宽对性能有何影响？
• RQ3 结合基于梯度优化与自适应资源分配的混合搜索策略，是否能在图学习的超参数调优中超越传统的网格搜索或随机搜索？
• RQ4 当在数据中引入大量噪声特征时，PG-learn 能在多大程度上保持高准确率？
• RQ5 与固定时间或均匀搜索策略相比，PG-learn 的动态资源分配如何提升效率与可扩展性？

主要发现

• 在所有添加了 100% 噪声特征的基准数据集上，PG-learn 的测试准确率显著高于所有基线方法（MinEnt、Grid 和 Rand d），配对 Wilcoxon 符号秩检验 p < 0.01。
• 在 COIL 数据集上，PG-learn 达到 90.44% 的测试准确率，显著优于 MinEnt（81.97%）、Grid（63.11%）和 Rand d（69.54%），时间预算为 15 分钟。
• 在 MNIST 数据集上，PG-learn 达到 86.34% 的测试准确率，尽管数据维度高且含噪声，仍显著优于 MinEnt（80.06%）、Grid（79.32%）和 Rand d（66.68%）。
• 在 Yale 数据集上（n=320，d≈2K），PG-learn 维持 68.59% 的准确率，远超 MinEnt（56.71%）、Grid（59.25%）和 Rand d（52.98%），展现出对小样本与高噪声的强鲁棒性。
• 在 32 个线程下，PG-learn 的验证与测试准确率随时间持续提升，而 Grid 和 Rand d 的误差曲线呈平坦或缓慢下降趋势，表明其具有更优的收敛性与搜索效率。
• 图 6 确认，PG-learn 为注入的噪声特征（d+1:2d）分配了显著更低的权重，证明其具备学习特征重要性并过滤无关维度的能力。