[论文解读] Online Semi-Supervised Learning on Quantized Graphs

Michal Vaľko, Branislav Kveton+2 more|arXiv (Cornell University)|Mar 15, 2012

Machine Learning and ELM参考文献 19被引用 18

一句话总结

本文提出了一种在线半监督学习算法，通过使用量化图来降低流数据环境下的计算和存储成本。通过将邻近点合并为代表性节点并正则化调和解，该方法实现了可证明的性能边界，并在人脸识别和字符识别任务中优于先前的方法。

ABSTRACT

In this paper, we tackle the problem of online semi-supervised learning (SSL). When data arrive in a stream, the dual problems of computation and data storage arise for any SSL method. We propose a fast approximate online SSL algorithm that solves for the harmonic solution on an approximate graph. We show, both empirically and theoretically, that good behavior can be achieved by collapsing nearby points into a set of local "representative points" that minimize distortion. Moreover, we regularize the harmonic solution to achieve better stability properties. We apply our algorithm to face recognition and optical character recognition applications to show that we can take advantage of the manifold structure to outperform the previous methods. Unlike previous heuristic approaches, we show that our method yields provable performance bounds.

研究动机与目标

• 解决数据以流式到达时在线半监督学习（SSL）面临的计算和存储挑战。
• 开发一种可扩展的SSL方法，在内存和处理能力有限的情况下仍能保持准确性。
• 利用数据的流形结构以提升实时学习环境下的泛化能力。
• 通过图结构的正则化和量化，为性能提供理论保证。
• 在人脸识别和光学字符识别应用中，以可证明的边界超越启发式方法。

提出的方法

• 通过将邻近数据点合并为局部代表性点来构建近似图，以最小化失真。
• 将SSL问题表述为在量化图上的调和函数，求解标签传播。
• 对调和解应用正则化，以提高稳定性和泛化能力。
• 在新数据到达时增量式更新模型，实现在无需完整重训的情况下在线学习。
• 采用最小化失真的量化方案，以保留数据流形的局部几何结构。
• 通过代表性点的选择优化近似误差与计算效率之间的权衡。

实验结果

研究问题

• RQ1 在线SSL能否在保持性能的同时，为流式数据实现可扩展性？
• RQ2 图量化如何在不牺牲准确性的前提下降低计算和存储成本？
• RQ3 正则化对在线SSL中调和解的稳定性有何影响？
• RQ4 能否在使用量化图的在线半监督学习中实现可证明的性能边界？
• RQ5 在实时环境中，利用流形结构在多大程度上能提升识别性能？

主要发现

• 所提方法在人脸识别和光学字符识别任务中，性能优于以往的启发式方法。
• 通过代表性点对图进行量化，显著降低了存储和计算成本，同时保持了高准确性。
• 对调和解进行正则化可提升在线学习中的稳定性和泛化能力。
• 建立了理论性能边界，为该方法的有效性提供了可证明的保证。
• 实验结果表明，该方法在准确性和效率方面均优于现有在线SSL方法。