[论文解读] Xtreaming: an incremental multidimensional projection technique and its application to streaming data

Tácito T. A. T. Neves, Rafael M. Martins+4 more|arXiv (Cornell University)|Mar 8, 2020

Data Visualization and Analytics参考文献 46被引用 5

一句话总结

Xtreaming 是一种增量式多维投影技术，通过在不重新访问原始数据的情况下实时更新投影，高效地可视化流式数据。它在保持竞争性全局距离保真度的同时，比现有的流式和增量方法快几个数量级，是首个在无需多次数据遍历的情况下，为新结构演化投影的技術。

ABSTRACT

Streaming data applications are becoming more common due to the ability of different information sources to continuously capture or produce data, such as sensors and social media. Despite recent advances, most visualization approaches, in particular, multidimensional projection or dimensionality reduction techniques, cannot be directly applied in such scenarios due to the transient nature of streaming data. Currently, only a few methods address this limitation using online or incremental strategies, continuously processing data, and updating the visualization. Despite their relative success, most of them impose the need for storing and accessing the data multiple times, not being appropriate for streaming where data continuously grow. Others do not impose such requirements but are not capable of updating the position of the data already projected, potentially resulting in visual artifacts. In this paper, we present Xtreaming, a novel incremental projection technique that continuously updates the visual representation to reflect new emerging structures or patterns without visiting the multidimensional data more than once. Our tests show that Xtreaming is competitive in terms of global distance preservation if compared to other streaming and incremental techniques, but it is orders of magnitude faster. To the best of our knowledge, it is the first methodology that is capable of evolving a projection to faithfully represent new emerging structures without the need to store all data, providing reliable results for efficiently and effectively projecting streaming data.

研究动机与目标

• 解决高吞吐量、瞬态流式数据的可视化挑战，因为传统降维技术在单次遍历约束下会失效。
• 开发一种方法，可在不重新处理原始多维数据的情况下，更新已可视化数据的投影位置。
• 在实现低延迟和高可扩展性的同时，保持高质量的布局保真度（全局距离保留），以满足实时应用需求。
• 克服现有在线方法的局限性，这些方法要么需要多次数据遍历，要么无法重新定位先前已投影的实例。

提出的方法

• Xtreaming 使用变化检测机制，识别流入数据流中何时出现新的结构模式。
• 采用样本外投影技术，基于当前投影函数将新数据点映射到现有的二维布局中。
• 提出一种新颖的再投影策略，动态调整先前已投影实例的位置，使其与新更新的投影函数对齐。
• 该技术仅通过一次数据遍历处理，避免对原始高维数据的存储或重复访问。
• 结合增量学习与自适应布局优化，长期保持全局距离关系。
• 算法通过最小化计算开销并支持实时可视化更新，专为流式工作负载设计。

实验结果

研究问题

• RQ1 多维投影技术能否在不重新访问原始高维数据的情况下，响应新结构模式的出现，更新先前已投影的数据点？
• RQ2 与现有流式和增量技术相比，该方法在全局距离保留和计算效率方面表现如何？
• RQ3 是否可能随时间演化投影函数以反映新兴的数据结构，同时保持视觉保真度？
• RQ4 在流式场景中，精度与性能之间的权衡是什么？能否为大规模实时应用进行优化？

主要发现

• Xtreaming 在应力度量下实现的全局距离保留效果，与最先进的样本外技术（如 LLE 和 ISOMAP）相当。
• 该方法比其他在线和增量投影技术快几个数量级，显著降低了流式场景中的延迟。
• Xtreaming 有效重新定位先前已投影的实例，使其与新的投影函数对齐，消除了非自适应方法中常见的视觉伪影。
• 该技术可实现实时可靠可视化动态演变的数据结构，例如社交媒体或传感器数据流中的新兴聚类。
• 对于小规模数据集，Xtreaming 的速度和精度低于 t-SNE 等样本内方法，但这是为流式可扩展性而有意做出的权衡。
• 该方法在实践中具有鲁棒性，具备硬件优化部署潜力，可在不丢失数据的情况下处理高吞吐量数据流。