[论文解读] Interacting with Massive Behavioral Data

Shih-Chieh Su|arXiv (Cornell University)|Aug 26, 2016

Data Visualization and Analytics参考文献 5被引用 3

一句话总结

本文提出了一种分拆扩散（SD）算法，该算法可将任意维度缩减技术（例如 t-SNE、MDS）生成的数据点均匀地重新分布到基于网格的布局中，同时保持局部拓扑结构。由此生成的主题网格可实现对大规模行为数据的高效人机交互与可视化，尤其适用于网络安全部域，支持用户与同行行为在不同主题上的动态、时间解析比较。

ABSTRACT

In this short paper, we propose the split-diffuse (SD) algorithm that takes the output of an existing word embedding algorithm, and distributes the data points uniformly across the visualization space. The result improves the perceivability and the interactability by the human. We apply the SD algorithm to analyze the user behavior through access logs within the cyber security domain. The result, named the topic grids, is a set of grids on various topics generated from the logs. On the same set of grids, different behavioral metrics can be shown on different targets over different periods of time, to provide visualization and interaction to the human experts. Analysis, investigation, and other types of interaction can be performed on the topic grids more efficiently than on the output of existing dimension reduction methods. In addition to the cyber security domain, the topic grids can be further applied to other domains like e-commerce, credit card transaction, customer service to analyze the behavior in a large scale.

研究动机与目标

• 解决维度缩减技术生成的 2D/3D 可视化中数据点分布不均匀、重叠严重的问题。
• 通过在保持拓扑关系的同时实现均匀的空间分布，提升大规模行为数据的人类可感知性与可交互性。
• 开发一种可扩展的、交互式的可视化框架——主题网格，用于在网络安全及其他领域中分析用户与同行行为的随时间变化特征。
• 通过在网格布局中引入时间维度，支持对行为度量的动态、时间解析分析。
• 通过支持对主题级摘要和活动叠加图层的直观交互（例如悬停、点击），实现高效的基于人工的异常检测。

提出的方法

• SD 算法在每一层深度沿交替的 x 轴和 y 轴递归分割数据点，使用中位数以确保平衡划分。
• 根据数据点在递归分割路径中的位置，将其唯一索引分配到 2^h × 2^h 的网格中，确保空间分布的均匀性。
• 通过保持点对点之间的相对位置关系（例如，某一点位于另一点的哪一侧），在变换过程中保留点对之间的拓扑关系。
• 该方法在维度缩减之后应用，因此与 t-SNE、MDS、PCA 等嵌入技术的输出兼容。
• 3D 扩展版本在时间轴上使用一维 SD 布局，将 2D 主题网格堆叠，实现对行为模式随时间演变的监控。
• 通过将主题（来自 19K+ 维空间中的日志内容）映射到网格单元，构建主题网格，每个单元可视化风险或活动水平等指标。

实验结果

研究问题

• RQ1 对降维后的数据进行后处理转换，能否改善人类对大规模行为数据的感知与交互？
• RQ2 如何在不破坏可视化空间中局部拓扑关系的前提下，实现数据点的均匀空间分布？
• RQ3 主题网格框架在多大程度上提升了网络安全日志中行为异常的检测能力？
• RQ4 SD 算法能否泛化应用于不同维度缩减技术，并在电子商务、信用卡交易等多样化领域中应用？
• RQ5 如何通过基于网格的交互模型，有效可视化并比较用户与同行行为的时间动态特征？

主要发现

• 分拆扩散（SD）算法成功地将 t-SNE 和 MDS 输出的数据点重新分布到均匀的 2D 网格布局中，同时保持了局部拓扑结构。
• 通过 SD 生成的主题网格相比原始降维输出，显著提升了人类交互效率，如视觉追踪能力与基于事件的交互（如悬停、点击）表现更优。
• 主题网格的 3D 扩展版本可沿时间轴堆叠 2D 网格，揭示行为模式或异常随时间的持续性特征。
• 系统支持在同一网格上动态可视化多个行为度量（如自我风险与同伴风险），实现并行比较。
• 该方法显著减少了视觉杂乱与重叠，大幅提升了在网络安全、电子商务及交易监控等场景中密集行为数据的可感知性。
• 该方法兼容多种维度缩减技术，包括 t-SNE、MDS、PCA 和谱嵌入，确保了广泛的应用潜力。