[论文解读] Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation

Sujith Ravi, Qiming Diao|arXiv (Cornell University)|Dec 6, 2015

Face and Expression Recognition被引用 33

一句话总结

本文提出了一种用于大规模分布式半监督学习的流式近似方法，通过利用标签分布的稀疏性，将每个节点的空间复杂度从 O(m) 降低至 O(1)，从而在包含数百万标签和数十亿节点的大型图上实现高效训练。该方法在显著降低内存使用的同时实现了最先进性能，并通过分布式实现实现高效扩展，同时结合基于深度学习的图增强技术，进一步提升了自然语言处理任务的性能。

ABSTRACT

Traditional graph-based semi-supervised learning (SSL) approaches, even though widely applied, are not suited for massive data and large label scenarios since they scale linearly with the number of edges $|E|$ and distinct labels $m$. To deal with the large label size problem, recent works propose sketch-based methods to approximate the distribution on labels per node thereby achieving a space reduction from $O(m)$ to $O(\\log m)$, under certain conditions. In this paper, we present a novel streaming graph-based SSL approximation that captures the sparsity of the label distribution and ensures the algorithm propagates labels accurately, and further reduces the space complexity per node to $O(1)$. We also provide a distributed version of the algorithm that scales well to large data sizes. Experiments on real-world datasets demonstrate that the new method achieves better performance than existing state-of-the-art algorithms with significant reduction in memory footprint. We also study different graph construction mechanisms for natural language applications and propose a robust graph augmentation strategy trained using state-of-the-art unsupervised deep learning architectures that yields further significant quality gains.

研究动机与目标

• 解决传统基于图的半监督学习（SSL）方法在标签数量 m 和边数量 |E| 上线性扩展所带来的可扩展性限制。
• 克服现有 SSL 算法在处理大规模标签空间（例如数千至数百万标签）时每个节点 O(m) 的高内存占用问题。
• 开发一种流式、稀疏感知的近似方法，在将每个节点的存储减少至 O(1) 的同时保持高预测精度，方法为仅保留前 K 个标签。
• 设计该算法的分布式版本，使其能够高效扩展至大规模图（例如数十亿个节点/边）和大规模标签集。
• 通过集成鲁棒的无监督深度学习驱动的图增强技术，提升自然语言处理中 SSL 的性能。

提出的方法

• 提出一种流式标签传播算法，在每次更新后仅保留每个节点最可能的前 K 个标签，有效捕捉标签分布的稀疏性。
• 使用固定大小的数据结构（例如最小堆或优先队列）仅存储每个节点的 K 个最高分标签，将空间复杂度从 O(m) 降低至 O(1)。
• 引入一种分布式变体 DIST-EXPANDER-S，将图分区到多台机器上，并执行异步流式更新，以实现对大规模数据集的扩展。
• 设计一种线性时间图构建策略，将多种信号（例如文本、嵌入）融合为单张图，支持稀疏和密集表示。
• 通过无监督深度学习生成的语义嵌入（例如来自自编码器或句子转换器）增强原始图，以提升自然语言处理应用中标签传播的质量。

实验结果

研究问题

• RQ1 流式近似方法是否能在保持高预测精度的前提下，将大规模半监督学习中每个节点的空间复杂度从 O(m) 降低至 O(1)？
• RQ2 在真实世界数据集上，所提出的流式稀疏性近似方法与频率阈值法和基于 Sketch 的方法相比，在准确率和效率方面表现如何？
• RQ3 该算法的分布式版本是否能够在包含数十亿个节点和边的图上保持低内存占用和快速收敛的同时实现可扩展性？
• RQ4 在自然语言处理任务中，引入无监督深度学习嵌入在多大程度上能提升 SSL 性能？
• RQ5 在大规模知识扩展基准测试中，该算法的性能与可扩展性与最先进方法相比如何？

主要发现

• 所提出的流式稀疏性近似方法（EXPANDER-S）在 Freebase-Entity 数据集上，P@10 达到 0.5923（k=10），优于频率阈值法，且在 P@5 和 P@10 上表现更优。
• 分布式版本 DIST-EXPANDER-S 在 700 万节点图上相比单机版 EXPANDER-S 实现了 50 倍的加速，展现出强大的可扩展性。
• 在标签数量变化（最高达数百万）的情况下，内存使用量稳定在约 35GB，实际验证了 O(1) 的空间复杂度。
• 在 1780 万节点、2670 万条边的图上，每次迭代仅耗时 2.3 秒；在 26 亿节点、65 亿条边的图上，总耗时不足 9 分钟，表明在大规模图上具有高效的可扩展性。
• 在自然语言处理应用中，通过无监督深度学习嵌入进行图增强显著提升了性能，使 SSL 表现超越基线方法。