[论文解读] Generalized scale behavior and renormalization group for data analysis

Vincent Lahoche, Dine Ousmane Samary+1 more|arXiv (Cornell University)|Feb 24, 2020

Remote Sensing and Land Use被引用 5

一句话总结

本文提出了一种非微扰重整化群（NRG）框架，以解决在具有连续协方差谱的高维数据中区分噪声与信号模式时存在的模糊性，扩展了先前基于微扰RG-PCA类比的研究。通过识别控制采样噪声分离的非高斯固定点，该方法提供了一种系统性的、受场论启发的数据降维方法，超越了幂律假设的限制。

ABSTRACT

Some recent results showed that renormalization group can be considered as a promising framework to address open issues in data analysis. In this work, we focus on one of these aspects, closely related to principal component analysis for the case of large dimensional data sets with covariance having a nearly continuous spectrum. In this case, the distinction between "noise-like" and "non-noise" modes becomes arbitrary and an open challenge for standard methods. Observing that both renormalization group and principal component analysis search for simplification for systems involving many degrees of freedom, we aim to use the renormalization group argument to clarify the turning point between noise and information modes. The analogy between coarse-graining renormalization and principal component analysis has been investigated in [Journal of Statistical Physics,167, Issue 3-4, pp 462-475, (2017)], from a perturbative framework, and the implementation with real sets of data by the same authors showed that the procedure may reflect more than a simple formal analogy. In particular, the separation of sampling noise modes may be controlled by a non-Gaussian fixed point, reminiscent of the behaviour of critical systems. In our analysis, we go beyond the perturbative framework using nonperturbative techniques to investigate non-Gaussian fixed points and propose a deeper formalism allowing going beyond power-law assumptions for explicit computations.

研究动机与目标

• 解决在具有连续协方差谱的高维数据中，难以区分噪声模式与非噪声模式的模糊性问题。
• 通过采用非微扰技术，将先前基于微扰的RG-PCA类比关系进一步拓展，以访问非高斯固定点。
• 开发一种避免依赖幂律假设的公式化方法，以实现在数据分析中的显式计算。
• 为大规模数据集中的降维提供一种系统性、受场论启发的框架。

提出的方法

• 将非微扰重整化群（NRG）技术应用于高维数据的协方差矩阵。
• 利用功能型重整化群（FRG）流方程追踪尺度依赖的有效作用量。
• 识别出一个非高斯固定点，作为控制噪声与信号模式分离的关键点。
• 将数据协方差结构视为统计场论，实现类似于RG粗粒化的粗粒化过程。
• 采用导数展开和优化方案，对流方程进行数值求解。
• 通过固定点行为识别出相关模式与无关模式，将RG流与主成分分析（PCA）联系起来。

实验结果

研究问题

• RQ1 如何利用重整化群系统性地区分具有连续谱的高维数据中的信号与噪声？
• RQ2 非高斯固定点在控制采样噪声与有意义数据结构分离的过程中起到何种作用？
• RQ3 非微扰RG技术能否为数据降维提供比微扰方法更稳健、更通用的框架？
• RQ4 协方差矩阵空间中的RG流如何反映数据的底层几何结构？
• RQ5 该RG框架在多大程度上可以替代或改进传统PCA中的人为截断？

主要发现

• 非微扰RG框架成功识别出一个控制高维数据中噪声与信号模式转换的非高斯固定点。
• 非高斯固定点的存在使得采样噪声与相关信息的分离得以在尺度依赖下被精确控制，从而消除了PCA截断的任意性。
• 该方法避免了对幂律假设的依赖，使在具有连续谱的系统中实现显式计算成为可能。
• RG流表现出显著的“大河效应”，即系统被吸引至由固定点控制的有限维子空间，类似于临界现象中的行为。
• 该框架在形式化深度上超越了先前的微扰方法，具有在真实数据应用中提升鲁棒性的潜力。
• 该方法表明，RG可系统性地将高维数据投影到一组最小的相关自由度上，其机制与统计场论中的成功应用相一致。