[论文解读] HyperTools: A Python toolbox for visualizing and manipulating high-dimensional data

Andrew C. Heusser, Kirsten Ziman+2 more|ArXiv.org|Jan 28, 2017

Computational Physics and Python Applications参考文献 20被引用 3

一句话总结

HyperTools 是一个 Python 工具箱，通过使用降维和数据对齐技术，使高维数据的直观可视化和操作成为可能。通过将复杂数据集投影到二维或三维空间，并利用普罗克鲁斯特变换对不同数据集进行对齐，它揭示了几何结构和时间轨迹，如在神经影像、教育和语言数据中的展示，通过交互式、可发表质量的可视化实现更深层次的洞察。

ABSTRACT

Data visualizations can reveal trends and patterns that are not otherwise obvious from the raw data or summary statistics. While visualizing low-dimensional data is relatively straightforward (for example, plotting the change in a variable over time as (x,y) coordinates on a graph), it is not always obvious how to visualize high-dimensional datasets in a similarly intuitive way. Here we present HypeTools, a Python toolbox for visualizing and manipulating large, high-dimensional datasets. Our primary approach is to use dimensionality reduction techniques (Pearson, 1901; Tipping & Bishop, 1999) to embed high-dimensional datasets in a lower-dimensional space, and plot the data using a simple (yet powerful) API with many options for data manipulation [e.g. hyperalignment (Haxby et al., 2011), clustering, normalizing, etc.] and plot styling. The toolbox is designed around the notion of data trajectories and point clouds. Just as the position of an object moving through space can be visualized as a 3D trajectory, HyperTools uses dimensionality reduction algorithms to create similar 2D and 3D trajectories for time series of high-dimensional observations. The trajectories may be plotted as interactive static plots or visualized as animations. These same dimensionality reduction and alignment algorithms can also reveal structure in static datasets (e.g. collections of observations or attributes). We present several examples showcasing how using our toolbox to explore data through trajectories and low-dimensional embeddings can reveal deep insights into datasets across a wide variety of domains.

研究动机与目标

• 解决高维数据集可视化和解释的挑战，因为传统二维或三维绘图不可行。
• 提供一个用户友好的开源工具箱，使研究人员能够通过低维嵌入和数据轨迹探索复杂数据。
• 通过超对齐和普罗克鲁斯特变换，促进具有不同坐标系的数据集（如脑活动和视频帧）之间的比较与对齐。
• 通过直观的、可发表的可视化，支持跨神经科学、教育学和社会科学等多样化领域中的假设生成和数据探索。

提出的方法

• 使用主成分分析（PCA）、t-SNE 和 PPCA 等降维算法，将高维数据投影到二维或三维空间以实现可视化。
• 使用超对齐算法和普罗克鲁斯特变换，将多个高维数据集对齐到一个共同的坐标系中，即使其原始维度不同。
• 在对齐前，对时间序列数据应用分段三次插值，以统一其时间分辨率。
• 使用 `reduce` 函数将数据投影到共享的低维空间（例如，6,641 维，与脑区体积数匹配）以进行对齐前的预处理。
• 使用 `procrustes` 函数计算最优线性变换，通过最小化平方欧几里得距离，将一个数据集（如脑响应）对齐到另一个数据集（如电影帧）。
• 支持数据轨迹的交互式和动画可视化，实现对高维时间序列中时间模式的动态探索。

实验结果

研究问题

• RQ1 如何有效可视化高维数据，同时保留其几何结构和时间结构？
• RQ2 降维和对齐技术在多大程度上能揭示如脑活动、教育表现和政治话语等多样化数据集中的隐藏模式？
• RQ3 对具有不同坐标系的数据集（如脑响应和视频帧）进行普罗克鲁斯特对齐，能否揭示有意义的对应关系？
• RQ4 一个单行 API 的 Python 工具箱在多大程度上能为非专家用户提供复杂数据可视化和操作的简化流程？

主要发现

• HyperTools 通过将脑响应和电影帧对齐到一个共享的 6,641 维空间，成功可视化了二者之间的对应关系，揭示了其时间轨迹中结构上的相似性。
• 该工具箱实现了从电影视角‘观察’脑响应的可视化，使得每个脑模式都能被映射回对应的电影帧，实现直接解释。
• 通过超对齐，该工具箱将 11 名参与者的脑数据对齐到一个共同空间，使不同个体之间的神经响应比较成为可能，尽管其原始坐标系存在差异。
• 普罗克鲁斯特变换有效将脑数据重新对齐到电影空间，使得对齐后的数据能够实现跨模态几何结构的可视化和定量比较。
• 该工具箱在神经科学、教育、政治和生物学等多个领域均表现出实用性，揭示了仅从汇总统计中无法察觉的模式。
• 将降维和对齐技术整合到一个单一、易访问的 API 中，使得仅用极少代码（通常仅需一行代码）即可实现复杂的可视化和分析。