[论文解读] Error Metrics for Learning Reliable Manifolds from Streaming Data

Frank Schoeneman, Suchismit Mahapatra+3 more|arXiv (Cornell University)|Nov 13, 2016

Data Stream Mining Techniques被引用 10

一句话总结

本文提出S-Isomap，一种流式流形学习方法，通过新颖的误差度量，在仅使用数据流的一小部分时即可识别出稳定的流形，然后高效地将剩余数据映射到该流形上。通过检测Isomap误差稳定下来的过渡点，该方法在不损失准确性的前提下实现了高计算效率，从而能够对高吞吐量数据流进行可扩展分析。

ABSTRACT

Spectral dimensionality reduction is frequently used to identify low-dimensional structure in high-dimensional data. However, learning manifolds, especially from the streaming data, is computationally and memory expensive. In this paper, we argue that a stable manifold can be learned using only a fraction of the stream, and the remaining stream can be mapped to the manifold in a significantly less costly manner. Identifying the transition point at which the manifold is stable is the key step. We present error metrics that allow us to identify the transition point for a given stream by quantitatively assessing the quality of a manifold learned using Isomap. We further propose an efficient mapping algorithm, called S-Isomap, that can be used to map new samples onto the stable manifold. We describe experiments on a variety of data sets that show that the proposed approach is computationally efficient without sacrificing accuracy.

研究动机与目标

• 解决标准Isomap在高容量、流式数据上计算不可行的问题。
• 识别数据流中流形变得稳定且准确的过渡点。
• 开发一种高效的流数据外部映射算法，避免重新计算完整的Isomap。
• 利用Procrustes分析量化Isomap中的集体误差，以指导过渡点检测。
• 实现实时应用中科学与生物医学数据的可扩展、低成本流形学习。

提出的方法

• 作者使用Procrustes分析定义了Isomap的集体误差度量，用于比较随数据子集增大而产生的嵌入结果。
• 引入参考样本度量以在无真实标签的情况下评估流形质量，从而实现在真实场景中的过渡点检测。
• 该方法检测误差稳定下来的过渡点，表明已收集足够数据以形成可靠流形。
• S-Isomap利用初始批次中获得的稳定流形，通过轻量级、线性时间算法将剩余流数据映射到其上。
• 该算法的计算成本仅取决于批次大小，而非流大小，从而实现高吞吐量处理。
• 实验使用合成数据和真实世界数据，验证误差行为以及S-Isomap的效率与准确性。

实验结果

研究问题

• RQ1 在数据流的哪个阶段，Isomap学习到的流形会变得稳定且可靠？
• RQ2 能否在无真实标签的情况下，利用集体误差度量检测到稳定流形的过渡点？
• RQ3 在流形稳定后，如何高效地执行外部映射？
• RQ4 与完整Isomap相比，所提出的流式方法在计算成本与准确性之间存在何种权衡？
• RQ5 Isomap的误差行为能否系统性地量化并用于自适应流形学习？

主要发现

• 在达到某一数据阈值后，Isomap的集体误差趋于稳定，表明流形具有鲁棒性，即使在无真实标签的情况下亦然。
• 参考样本误差度量能可靠地检测过渡点，其误差与仅基于批次的Isomap性能高度一致。
• S-Isomap在保持与标准Isomap近乎相同的嵌入质量的同时，将映射成本降低了数量级。
• S-Isomap的累计时间随流大小线性增长，证实了其计算效率。
• 该方法在包括等距瑞士卷和真实生物医学数据在内的多种数据集上均保持低误差和高准确性。
• S-Isomap的计算成本仅取决于初始稳定批次，与流大小无关，从而可扩展至大规模数据流。