[论文解读] A Statistically Identifiable Model for Tensor-Valued Gaussian Random Variables

Bruno Scalzo Dees, Danilo P. Mandic+1 more|arXiv (Cornell University)|Nov 7, 2019

Tensor decomposition and applications参考文献 37被引用 6

一句话总结

本文提出了一种具有Kronecker可分均值与协方差的可统计识别张量值高斯分布，实现了解析的最大似然估计。该模型达到全局最优，参数量从数百万降低至数千，已在全球大气温度数据上得到验证，其秩-1均值结构解释了99.99%的方差。

ABSTRACT

Real-world signals typically span across multiple dimensions, that is, they naturally reside on multi-way data structures referred to as tensors. In contrast to standard ``flat-view'' multivariate matrix models which are agnostic to data structure and only describe linear pairwise relationships, we introduce the tensor-valued Gaussian distribution which caters for multilinear interactions -- the linear relationship between fibers -- which is reflected by the Kronecker separable structure of the mean and covariance. By virtue of the statistical identifiability of the proposed distribution formulation, whereby different parameter values strictly generate different probability distributions, it is shown that the corresponding likelihood function can be maximised analytically to yield the maximum likelihood estimator. For rigour, the statistical consistency of the estimator is also demonstrated through numerical simulations. The probabilistic framework is then generalised to describe the joint distribution of multiple tensor-valued random variables, whereby the associated mean and covariance exhibit a Khatri-Rao separable structure. The proposed models are shown to serve as a natural basis for gridded atmospheric climate modelling.

研究动机与目标

• 为解决缺乏具有闭式估计的可统计识别张量值高斯分布的问题。
• 解决EM或块坐标下降等迭代估计方法的局限性，避免陷入局部最优。
• 为张量值数据提供严谨的概率框架，支持基于似然的推断、假设检验与贝叶斯方法。
• 通过Khatri-Rao可分性将模型推广至多个张量值随机变量的联合分布。
• 通过在网格化大气气候数据上的应用，展示其实际应用价值。

提出的方法

• 提出一种具有Kronecker可分协方差结构的张量值高斯分布，确保统计可识别性。
• 推导对数似然函数，并证明其可实现解析最大值，从而支持闭式最大似然估计。
• 引入基于秩-1 CPD的均值参数化方法，使用标量α与因子矩阵{μ(n)}，显著减少参数数量。
• 通过Khatri-Rao可分协方差结构，将框架扩展至多个张量的联合分布。
• 采用张量分解（CPD与HOSVD）从真实大气温度数据中提取具有物理解释性的分量。
• 使用HOTTBOX Python工具箱进行数值实现与仿真验证。

实验结果

研究问题

• RQ1 能否构建一种可统计识别的张量值高斯分布，使得不同的参数值对应不同的概率分布？
• RQ2 所提出的模型是否允许对似然函数进行解析最大化，从而避免迭代优化？
• RQ3 该模型能否有效捕捉高维张量数据中的多线性关系，如大气气候信号？
• RQ4 在方差解释方面，秩-1均值结构对真实世界张量值数据的近似效果如何？
• RQ5 Khatri-Rao可分结构能否以统计一致的方式建模多个张量值随机变量之间的联合依赖关系？

主要发现

• 所提模型确保了统计可识别性，可从数据中唯一恢复参数。
• 最大似然估计器以闭式形式推导得出，且经数值仿真验证具有统计一致性。
• 基于α与{μ(n)}构建的秩-1均值张量，解释了全球大气温度数据样本均值中99.99%的方差。
• 通过使用秩-1 CPD结构，均值的参数量从20,764,800减少至2,182。
• 模式-n协方差矩阵的主导特征向量显示：全球温度趋势在高度维度上占主导（解释75%的方差），而区域因素在纬度与经度维度上占主导。
• 该模型成功捕捉了物理模式：赤道变暖（纬度方向）、昼夜周期（经度方向）以及随高度递减的温度（对流层行为）。