[论文解读] Multivariate Analysis and Visualization using R Package muvis

Elyas Heidari, Vahid Balazadeh-Meresht+1 more|arXiv (Cornell University)|Jan 1, 2018

Data Analysis with R参考文献 19被引用 1

一句话总结

本文介绍了 R 包 muvis，这是一个用于端到端多变量数据分析与可视化的综合性工具包。它提出了基于 KL 散度的新型方法——变量级 Kullback-Leibler 散度（VKL）与违反性变量级 Kullback-Leibler 散度（VVKL），用于识别两组之间分布显著不同的特征，并通过预处理、图模型、聚类和降维等步骤，在 NHANES 数据集上展示了其有效性。

ABSTRACT

Increased application of multivariate data in many scientific areas has considerably raised the complexity of analysis and interpretation. Although quite a few approaches have been put forward to address this issue, there is still a gap between the most efficient proposed methods and available software. muvis is an R package (core team (2017)) which is a toolkit for analyzing multivariate datasets. Several tools are implemented for common analyses of multivariate datasets, including preprocessing, dimensionality reduction, statistical analysis, Probabilistic Graphical Modeling, hypothesis testing, and visualization. Furthermore, we have implemented two novel methods--Variable-wise Kullback-Leibler Divergence (VKL) and Violating Variable-wise Kullback-Leibler Divergence (VVKL)--which are proposed to find the features with most different probability distributions between two specific groups of samples. The main aim of the package is to provide a wide range of users with different levels of expertise in R with a set of tools for comprehensive analysis of multivariate datasets. We exploited the NHANES dataset to declare the functionality of muvis in practice.

研究动机与目标

• 为先进多变量分析方法与可访问、集成化的软件工具之间的差距提供解决方案。
• 为所有 R 技能水平的用户提供统一、端到端的多变量数据分析工作流。
• 提出并实现两种基于分布的新方法——VKL 与 VVKL，用于检测样本组之间概率分布差异显著的特征。
• 通过真实世界的 NHANES 数据集，在预处理、统计建模和可视化任务中展示 muvis 的功能。

提出的方法

• 利用 R 包 muvis 将预处理、降维、假设检验与可视化整合到单一工作流中。
• 采用高斯图模型（GGMs）和可分解马尔可夫随机场（DMRFs）推断变量之间的条件独立结构。
• 应用变量级 Kullback-Leibler 散度（VKL）量化两个样本组之间单个特征的分布差异。
• 提出违反性变量级 Kullback-Leibler 散度（VVKL）以检测违反预期线性关联的特征，突出显示非线性或复杂依赖关系。
• 使用最小森林算法基于依赖结构对样本进行聚类，随后进行社区检测与可视化。
• 采用降维技术（UMAP 与 t-SNE）对高维数据进行二维可视化，按聚类成员关系着色。

实验结果

研究问题

• RQ1 如何通过统一的 R 包使不同技能水平的用户更高效地进行多变量数据分析？
• RQ2 哪些新型方法能有效识别两组之间概率分布显著不同的特征？
• RQ3 基于 KL 散度的方法（VKL 与 VVKL）在检测非线性或意外关联方面，与传统相关性或线性建模方法相比表现如何？
• RQ4 图模型与聚类技术能否有效揭示高维多变量数据中的隐藏结构？
• RQ5 像 UMAP 与 t-SNE 这类可视化工具在增强对复杂多变量关系的理解方面能发挥多大作用？

主要发现

• muvis 包在预处理阶段成功检测并移除了异常值，提升了 NHANES 数据集的数据质量。
• 高斯图模型（GGMs）与最小森林聚类有效捕捉了条件依赖关系与样本分组，UMAP 与 t-SNE 提供了准确的低维可视化结果。
• VKL 与 VVKL 方法识别出两组之间分布存在显著差异的特征，实现了对非线性或意外关联的检测。
• 可视化工作流（包括按社区着色的 UMAP 与 t-SNE 图）清晰地展示了数据中的聚类模式与结构关系。
• muvis 中端到端的工作流在预处理、建模与可视化方面均表现出稳健性能，支持全面的多变量分析。
• 该包将统计建模与交互式可视化工具相结合，显著提升了多样化的科学用户在可解释性与可用性方面的体验。