[論文レビュー] A two-way factor model for high-dimensional matrix data

Zhigen Gao, Yuan Chaofeng+3 more|arXiv (Cornell University)|Mar 14, 2021

Statistical Methods and Inference参考文献 25被引用数 5

ひとこと要約

本稿は、1回の観測しか持たない高次元行列データに対して、別個の潜在要因を用いて行と列の効果を分離する二方向要因モデル（2wFM）を提案する。因子負荷と分散成分の最尤推定量の漸近正規性を確立し、行要因と列要因の分散の差異に依存する新たな分散構造を明らかにした。シミュレーションと実環境データによる検証が行われた。

ABSTRACT

In this article, we introduce a two-way factor model for a high-dimensional data matrix and study the properties of the maximum likelihood estimation (MLE). The proposed model assumes separable effects of row and column attributes and captures the correlation across rows and columns with low-dimensional hidden factors. The model inherits the dimension-reduction feature of classical factor models but introduces a new framework with separable row and column factors, representing the covariance or correlation structure in the data matrix. We propose a block alternating, maximizing strategy to compute the MLE of factor loadings as well as other model parameters. We discuss model identifiability, obtain consistency and the asymptotic distribution for the MLE as the numbers of rows and columns in the data matrix increase. One interesting phenomenon that we learned from our analysis is that the variance of the estimates in the two-way factor model depends on the distance of variances of row factors and column factors in a way that is not expected in classical factor analysis. We further demonstrate the performance of the proposed method through simulation and real data analysis.

研究の動機と目的

• 繰返しのない高次元行列データの解析という課題に取り組み、従来の要因モデルが行と列の構造を無視するため、その適用が困難であることを解決する。
• 別個の潜在要因を用いて行と列の効果を明示的に分離する新しい要因モデルを構築し、構造的相関を保持したまま次元削減を実現する。
• 行列の次元が増加する条件下で、最尤推定量の理論的性質（同定可能性、一貫性、漸近正規性）を確立する。
• 古典的要因分析では観察されない、因子負荷推定量の推定分散が行要因と列要因の分散の差に依存するという予期せぬ依存関係を調査する。
• シミュレーションデータおよび都市と化学物質の空気汚染に関する実世界の環境データセットを用いて、モデルの性能を実証する。

提案手法

• データ行列 $ X $ を行効果と列効果の成分に分解する二方向要因モデルを提案する。$ X = U + V $ とし、$ U_{i.} = L F_i + \eta_i $、$ V_{.j} = \Lambda E_j + \xi_j $ とする。
• 最尤推定量（MLE）の計算に、ブロック交互最大化アルゴリズムを用いる。因子負荷 $ L $、$ \Lambda $、および分散成分 $ \Psi_F $、$ \Psi_E $、$ \sigma^2 $ を推定する。
• 行列分散正規分布の仮定の下で対数尤度を最大化し、$ L $、$ \Lambda $、$ \Psi_F $、$ \Psi_E $、$ \sigma^2 $ の繰り返し更新式を導出する推定方程式を導出する。
• 正則性条件の下で、行と列の要因への分解が一意的であることを示し、モデルの同定可能性を確立する。
• 漸近理論を用いて、行数 $ p $ と列数 $ q $ が共に大きくなる際の最尤推定量の同時漸近分布を導出する。
• マルティンゲール中心極限定理と確率的展開を用い、$ \sqrt{p}(\hat{L} - L^*) $ および $ \sqrt{q}(\hat{\Lambda} - \Lambda^*) $ の極限正規分布を導出し、明示的な分散・共分散構造を特定する。

実験結果

リサーチクエスチョン

• RQ1 繰返しのない高次元行列データに対して、要因モデルを拡張し、1回の観測のみで解析可能であるか。
• RQ2 行列内の行と列の効果を、別個の潜在要因を用いて分離・モデル化できるか。この際、相関構造を保持できるか。
• RQ3 行列の次元 $ p, q \to \infty $ の下で、このような二方向要因モデルにおける最尤推定量の漸近的性質（一貫性および分布極限）は何か。
• RQ4 因子負荷推定量の推定分散は、行要因と列要因の分散の相対的大きさに依存するか。その依存関係はどのようなものか。
• RQ5 提案されたモデルは、実世界の高次元行列データにおいて、既存手法と比較して実用的に優れているか。

主な発見

• 二方向要因モデルは、別個の潜在要因を用いて行と列の効果を分離することで、高次元行列データの複雑な相関構造を的確に捉えることができる。
• 因子負荷行列の最尤推定量 $ \hat{L} $ は一貫的かつ漸近正規的である：$ \sqrt{p}(\hat{L}_{m\cdot} - L^*_{m\cdot}) \xrightarrow{d} N_r(0, \Sigma_L) $ であり、$ \Sigma_L $ は行要因と列要因の分散比に依存する。
• 同様に、$ \sqrt{q}(\hat{\Lambda}_{k\cdot} - \Lambda^*_{k\cdot}) \xrightarrow{d} N_c(0, \Sigma_\Lambda) $ が成り立ち、列要因負荷の推定の一貫性が示される。
• 推定された行要因分散 $ \hat{\Psi}_F $ は、$ \sqrt{p} \cdot \text{diag}(\hat{\Psi}_F - \Psi_F^*) \xrightarrow{d} N_r(0, 2\Psi_F^{*2}) $ を満たし、分散推定量の漸近正規性が裏付けられる。
• 予期せぬ結果として、因子負荷推定量の分散が行要因と列要因の分散の差に依存することが判明した。これは古典的要因分析には見られない特徴である。
• シミュレーションと実データ解析（空気汚染データ）により、モデルが意味のある潜在パターンを回復でき、ベクトル化された要因モデルよりも行と列固有の構造をよりよく捉えられることを確認した。