[论文解读] A two-way factor model for high-dimensional matrix data

Zhigen Gao, Yuan Chaofeng+3 more|arXiv (Cornell University)|Mar 14, 2021

Statistical Methods and Inference参考文献 25被引用 5

一句话总结

该论文提出了一种用于高维矩阵数据的双向因子模型（2wFM），在仅有一个观测值的情况下，通过不同的潜在因子分离行效应和列效应。该研究建立了因子载荷和方差分量的最大似然估计量的渐近正态性，揭示了方差依赖于行因子与列因子方差差异的新型关系，并通过模拟和真实环境数据验证了该模型。

ABSTRACT

In this article, we introduce a two-way factor model for a high-dimensional data matrix and study the properties of the maximum likelihood estimation (MLE). The proposed model assumes separable effects of row and column attributes and captures the correlation across rows and columns with low-dimensional hidden factors. The model inherits the dimension-reduction feature of classical factor models but introduces a new framework with separable row and column factors, representing the covariance or correlation structure in the data matrix. We propose a block alternating, maximizing strategy to compute the MLE of factor loadings as well as other model parameters. We discuss model identifiability, obtain consistency and the asymptotic distribution for the MLE as the numbers of rows and columns in the data matrix increase. One interesting phenomenon that we learned from our analysis is that the variance of the estimates in the two-way factor model depends on the distance of variances of row factors and column factors in a way that is not expected in classical factor analysis. We further demonstrate the performance of the proposed method through simulation and real data analysis.

研究动机与目标

• 解决在无重复观测的高维矩阵数据中分析的挑战，传统因子模型因忽略行-列结构而失效。
• 开发一种新型因子模型，通过使用不同的潜在因子显式分离行效应和列效应，实现在保留结构相关性的同时进行降维。
• 在矩阵维度随 $ p $ 和 $ q $ 增大时，建立最大似然估计量的理论性质——可识别性、一致性及渐近正态性。
• 研究因子载荷估计方差对行因子与列因子方差差异的意外依赖关系，这一现象在经典因子分析中未被观察到。
• 通过模拟数据和真实世界的城市空气污染数据集，展示该模型在实际应用中的性能。

提出的方法

• 提出一种双向因子模型，其中数据矩阵 $ X $ 被分解为行效应和列效应分量，每个分量由潜在因子驱动：$ X = U + V $，其中 $ U_{i.} = L F_i + \eta_i $，$ V_{.j} = \Lambda E_j + \xi_j $。
• 使用块交替最大化算法计算因子载荷 $ L $、$ \Lambda $ 以及方差分量 $ \Psi_F $、$ \Psi_E $ 和 $ \sigma^2 $ 的最大似然估计（MLE）。
• 在矩阵变正态分布假设下，通过最大化对数似然函数推导出 MLE 的估计方程，得到 $ L $、$ \Lambda $、$ \Psi_F $、$ \Psi_E $ 和 $ \sigma^2 $ 的迭代更新公式。
• 通过证明在正则性条件下，行因子与列因子的分解具有唯一性，从而确立模型的可识别性。
• 应用渐近理论，推导出当行数 $ p $ 和列数 $ q $ 同时趋于无穷大时，MLE 的联合渐近分布。
• 利用鞅中心极限定理和随机展开，推导出 $ \sqrt{p}(\hat{L} - L^*) $ 和 $ \sqrt{q}(\hat{\Lambda} - \Lambda^*) $ 的极限正态分布，并给出显式的方差-协方差形式。

实验结果

研究问题

• RQ1 能否将因子模型扩展至仅有一个观测值的高维矩阵数据，而无需依赖重复观测？
• RQ2 如何通过使用不同的潜在因子对矩阵中的行效应和列效应进行分离与建模，同时保持相关结构？
• RQ3 在 $ p, q \to \infty $ 的条件下，此类双向因子模型中 MLE 的渐近性质（一致性与分布极限）是什么？
• RQ4 因子载荷估计的方差是否依赖于行因子与列因子方差的相对大小？若存在依赖，其关系如何？
• RQ5 与现有方法相比，该模型在真实世界高维矩阵数据上的实际表现如何？

主要发现

• 该双向因子模型通过使用不同的潜在因子分离行与列效应，成功捕捉了高维矩阵数据中的复杂相关结构。
• 因子载荷矩阵的 MLE $ \hat{L} $ 是一致且渐近正态的：$ \sqrt{p}(\hat{L}_{m\cdot} - L^*_{m\cdot}) \xrightarrow{d} N_r(0, \Sigma_L) $，其中 $ \Sigma_L $ 依赖于行因子与列因子方差的比值。
• 类似地，$ \sqrt{q}(\hat{\Lambda}_{k\cdot} - \Lambda^*_{k\cdot}) \xrightarrow{d} N_c(0, \Sigma_\Lambda) $，表明列因子载荷估计具有一致性。
• 估计的行因子方差 $ \hat{\Psi}_F $ 满足 $ \sqrt{p} \cdot \text{diag}(\hat{\Psi}_F - \Psi_F^*) \xrightarrow{d} N_r(0, 2\Psi_F^{*2}) $，证实了方差估计量的渐近正态性。
• 一个意外发现是，因子载荷估计的方差依赖于行因子与列因子方差之间的差异，这一特性在经典因子分析中并不存在。
• 模拟实验与真实空气污染数据的分析结果表明，该模型能够有效恢复有意义的潜在模式，并在捕捉行与列特异性结构方面优于向量化因子模型。