[论文解读] Equivariant and scale-free Tucker decomposition models

Peter D. Hoff|arXiv (Cornell University)|Dec 22, 2013

Tensor decomposition and applications参考文献 21被引用 4

一句话总结

本文提出了一种贝叶斯、基于模型的张量Tucker分解方法，该方法在正交变换下具有等变性，并对离散或有序数组数据具有尺度不变性。通过使用不变先验并正则化核心数组，该方法在高维或非正态设置下相比最小二乘法显著提升了估计性能，实现了对多变量关系数据（如多层社交网络）的稳健低秩建模。

ABSTRACT

Analyses of array-valued datasets often involve reduced-rank array approximations, typically obtained via least-squares or truncations of array decompositions. However, least-squares approximations tend to be noisy in high-dimensional settings, and may not be appropriate for arrays that include discrete or ordinal measurements. This article develops methodology to obtain low-rank model-based representations of continuous, discrete and ordinal data arrays. The model is based on a parameterization of the mean array as a multilinear product of a reduced-rank core array and a set of index-specific orthogonal eigenvector matrices. It is shown how orthogonally equivariant parameter estimates can be obtained from Bayesian procedures under invariant prior distributions. Additionally, priors on the core array are developed that act as regularizers, leading to improved inference over the standard least-squares estimator, and providing robustness to misspecification of the array rank. This model-based approach is extended to accommodate discrete or ordinal data arrays using a semiparametric transformation model. The resulting low-rank representation is scale-free, in the sense that it is invariant to monotonic transformations of the data array. In an example analysis of a multivariate discrete network dataset, this scale-free approach provides a more complete description of data patterns.

研究动机与目标

• 解决最小二乘Tucker分解在高维、噪声大或非正态数组数据中的局限性。
• 开发一种贝叶斯框架，利用不变先验获得正交等变的参数估计。
• 在核心数组上引入正则化先验，以提升推断性能并增强对秩误设的鲁棒性。
• 通过半参数变换模型将模型扩展至离散和有序数据，确保在单调变换下的尺度不变性。
• 在真实世界多变量关系数据（如GDELT项目中的多层社交网络）上展示该方法的优越性。

提出的方法

• 使用多线性Tucker分解模型：$\mathbf{Y} = \mathbf{S} \times \{\mathbf{U}_1, \dots, \mathbf{U}_K\} $，其中$\mathbf{S}$为低秩核心数组，$\mathbf{U}_k$为正交因子矩阵。
• 在正交变换群上施加右不变的Haar先验，以确保后验估计具有正交等变性。
• 在核心数组$\mathbf{S}$上应用层次先验，作为正则化项，提升估计稳定性并减少过拟合。
• 通过半参数变换模型将模型扩展至离散/有序数据，其中均值通过单调链接函数与核心关联。
• 采用马尔可夫链蒙特卡洛（MCMC）方法计算层次贝叶斯模型下的后验分布。
• 通过使后验分布对观测数组元素的单调变换保持不变，确保尺度不变性。

实验结果

研究问题

• RQ1 能否构建一种贝叶斯Tucker分解，使其在因子矩阵的正交变换下保持不变？
• RQ2 如何通过核心数组的正则化来提升高维数组数据中估计的准确性和对秩误设的鲁棒性？
• RQ3 该模型能否扩展至处理离散或有序数组数据，同时保持对单调变换的不变性？
• RQ4 所提出的尺度不变、基于模型的方法是否在偏态、离散的多变量网络数据上优于标准最小二乘Tucker分解？
• RQ5 该方法在捕捉真实世界关系数据集（如GDELT多层网络）中的有意义低秩结构方面表现如何？

主要发现

• 由于在正交群上使用了不变的Haar先验，所提出的贝叶斯模型能够产生正交等变的后验估计。
• 通过在核心数组上施加层次先验进行正则化，其估计性能优于标准最小二乘估计器，尤其在高维设置下表现更优。
• 基于模型的方法对数组秩的误设具有鲁棒性，因为核心数组上的先验能自然地惩罚过拟合。
• 对于离散和有序数据，半参数变换模型确保了尺度不变性，使低秩表示对数据的单调变换保持不变。
• 在GDELT应用中，该尺度不变模型比最小二乘方法更完整、更全面地描述了多变量关系模式。
• 该方法成功捕捉到了一个$30 \times 30 \times 52 \times 20$四维数组中多层外交行为的异质性模式，在偏态计数型数据上优于标准方法。