[论文解读] Guided Visual Exploration of Relations in Data Sets

Kai Puolamäki, Emilia Oikarinen+1 more|arXiv (Cornell University)|May 7, 2019

Data Visualization and Analytics参考文献 25被引用 5

一句话总结

本文提出了一种基于瓦片约束建模用户知识与目标的有原则的引导式视觉探索框架，实现了交互式、抗噪且计算高效的降维方法，优先展示信息量丰富的视图。该方法在真实世界数据探索中优于标准投影追踪技术，有效减少了冗余或已知模式的出现。

ABSTRACT

Efficient explorative data analysis systems must take into account both what a user knows and wants to know. This paper proposes a principled framework for interactive visual exploration of relations in data, through views most informative given the user's current knowledge and objectives. The user can input pre-existing knowledge of relations in the data and also formulate specific exploration interests, which are then taken into account in the exploration. The idea is to steer the exploration process towards the interests of the user, instead of showing uninteresting or already known relations. The user's knowledge is modelled by a distribution over data sets parametrised by subsets of rows and columns of data, called tile constraints. We provide a computationally efficient implementation of this concept based on constrained randomisation. Furthermore, we describe a novel dimensionality reduction method for finding the views most informative to the user, which at the limit of no background knowledge and with generic objectives reduces to PCA. We show that the method is suitable for interactive use and is robust to noise, outperforms standard projection pursuit visualisation methods, and gives understandable and useful results in analysis of real-world data. We provide an open-source implementation of the framework.

研究动机与目标

• 解决现有交互式视觉数据分析系统中用户知识与探索目标缺乏有原则整合的问题。
• 开发一种动态适应可视化的方法，基于用户提供的约束与兴趣突出显示新颖且信息丰富的关系。
• 构建一种计算高效、交互式的框架，避免在探索过程中显示冗余或已知的模式。
• 将现有的迭代数据挖掘与约束随机化方法扩展至支持实时、用户引导的实值数据视觉探索。
• 提供一种广义PCA的降维技术，在无先验知识条件下保持一致，并能适应用户特定约束。

提出的方法

• 通过瓦片约束（即行与列的子集，代表已知或怀疑的关系）定义的数据集分布来建模用户背景知识。
• 采用约束随机化生成满足用户定义约束的合成数据，从而高效计算信息论意义上的惊奇度量。
• 提出一种新颖的降维方法，识别相对于用户知识最具信息量的视图，在无约束条件下退化为PCA。
• 使用基于瓦片的分块结构表示并动态合并数据矩阵中重叠或相邻的用户定义约束（瓦片）。
• 实现一种高效的O(nm)算法，通过哈希表检测并解决重叠问题，将新瓦片合并到现有非重叠分块中。
• 通过允许将假设编码为约束来实现用户引导，进而指导后续信息量丰富投影的选择。

实验结果

研究问题

• RQ1 如何形式化建模用户知识与探索目标，以引导交互式视觉数据分析？
• RQ2 在用户特定背景知识的背景下，定义‘信息量丰富’视图的最有效方式是什么？
• RQ3 能否利用约束随机化在用户定义约束下高效计算高维数据中的信息论惊奇度？
• RQ4 所提出的降维方法在鲁棒性与信息量方面相较于标准方法（如PCA与投影追踪）表现如何？
• RQ5 该框架在多大程度上能支持交互式、迭代式探索，同时避免显示冗余或已知模式？

主要发现

• 所提框架通过聚焦于相对于用户约束最具惊奇性的视图，显著减少了冗余或已知关系的显示。
• 该方法在真实世界数据中表现出对噪声的鲁棒性，在识别有意义模式方面优于标准投影追踪可视化技术。
• 当缺乏背景知识时，该降维技术退化为PCA，验证了其理论一致性。
• 约束随机化方法实现了高效的信息视图计算，支持实时探索工作流中的交互使用。
• 开源实现使得该框架可在多种数据分析场景中实现可复现与可扩展的使用。
• 瓦片合并算法达到O(nm)时间复杂度，确保在动态约束更新下对大规模数据集的可扩展性。