[논문 리뷰] A two-way factor model for high-dimensional matrix data

Zhigen Gao, Yuan Chaofeng외 3명|arXiv (Cornell University)|2021. 03. 14.

Statistical Methods and Inference참고 문헌 25인용 수 5

한 줄 요약

이 논문은 단일 관측치를 가진 고차원 행렬 데이터에 대해 행과 열의 영향을 별개의 잠재因수로 분리하는 이원인자모형(2wFM)을 제안한다. 인자 하중과 분산 성분의 최대우도추정량의 점근정규성을 확립하며, 행 인자 분산과 열 인자 분산의 차이에 따라 새로운 분산 의존성이 드러나며, 시뮬레이션과 실제 환경 데이터로 검증된다.

ABSTRACT

In this article, we introduce a two-way factor model for a high-dimensional data matrix and study the properties of the maximum likelihood estimation (MLE). The proposed model assumes separable effects of row and column attributes and captures the correlation across rows and columns with low-dimensional hidden factors. The model inherits the dimension-reduction feature of classical factor models but introduces a new framework with separable row and column factors, representing the covariance or correlation structure in the data matrix. We propose a block alternating, maximizing strategy to compute the MLE of factor loadings as well as other model parameters. We discuss model identifiability, obtain consistency and the asymptotic distribution for the MLE as the numbers of rows and columns in the data matrix increase. One interesting phenomenon that we learned from our analysis is that the variance of the estimates in the two-way factor model depends on the distance of variances of row factors and column factors in a way that is not expected in classical factor analysis. We further demonstrate the performance of the proposed method through simulation and real data analysis.

연구 동기 및 목표

• 복수의 반복 측정이 없는 고차원 행렬 데이터 분석의 과제를 해결하며, 기존 요인 모형이 행-열 구조를 忽略하기 때문에 성능이 떨어지는 상황을 다룬다.
• 서로 다른 잠재인수를 사용해 행과 열의 영향을 명시적으로 분리하는 새로운 요인 모형을 개발하여 차원 감소를 가능하게 하면서도 구조적 상관관계를 유지한다.
• 증거 크기가 증가하는 고차원 행렬에 대해 최대우도추정량의 이 Identifiability, 일致성, 점근정규성 등의 이론적 성질을 확립한다.
• 기존 요인분석에서 관찰되지 않는 바, 행 인자 분산과 열 인자 분산의 차이에 따라 추정 분산이 영향을 받는다는 놀라운 현상을 탐구한다.
• 모델의 성능을 시뮬레이션 데이터와 도시별 오염물질에 대한 실제 환경 데이터 세트를 통해 평가한다.

제안 방법

• 데이터 행렬 $ X $ 가 행효과와 열효과 성분으로 분해되는 이원인자모형을 제안한다: $ X = U + V $, 여기서 $ U_{i.} = L F_i + \eta_i $, $ V_{.j} = \Lambda E_j + \xi_j $.
• 최대우도추정량(MLE)을 계산하기 위해 블록 교차최적화 알고리즘을 사용한다: 인자 하중 $ L $, $ \Lambda $, 분산 성분 $ \Psi_F $, $ \Psi_E $, $ \sigma^2 $.
• 행렬변량정규분포를 전제로 하여 로그우도를 최대화함으로써 추정방정식을 유도하며, $ L $, $ \Lambda $, $ \Psi_F $, $ \Psi_E $, $ \sigma^2 $ 에 대한 반복 갱신식을 도출한다.
• 정규성 조건 하에서 행과 열 인자로의 분해가 유일함을 보여 이론적으로 모형 식별성을 확립한다.
• 점근이론을 적용해 행 개수 $ p $ 와 열 개수 $ q $ 가 모두 증가함에 따라 MLE의 공동 점근분포를 유도한다.
• 마팅게일 중심극한정리와 확률적 전개를 활용해 $ \sqrt{p}(\hat{L} - L^*) $ 과 $ \sqrt{q}(\hat{\Lambda} - \Lambda^*) $ 의 극한 정규분포를 도출하며, 명시적인 분산-공분산 형태를 제공한다.

실험 결과

연구 질문

• RQ1 단일 관측치만 존재하는 고차원 행렬 데이터에 대해 기존의 복수 반복 측정이 없는 요인 모형을 어떻게 확장할 수 있는가?
• RQ2 행과 열의 영향을 별개의 잠재인수로 분리하여 모델링하면서도 상관관계 구조를 유지할 수 있는 방법은 무엇인가?
• RQ3 행렬 차원 $ p, q \to \infty $ 가 증가함에 따라 이중요인모형에서 최대우도추정량의 점근적 성질(일致성 및 분포한계)은 어떻게 되는가?
• RQ4 인자 하중 추정 분산은 행 인자와 열 인자 분산의 상대적 크기에 따라 영향을 받는가? 만약 그렇다면 어떤 방식으로 영향을 받는가?
• RQ5 실제 고차원 행렬 데이터에 대해 기존 방법과 비교해 제안된 모형은 실용적으로 얼마나 잘 작동하는가?

주요 결과

• 이원인자모형은 별개의 잠재인수를 통해 고차원 행렬 데이터의 복잡한 상관관계를 효과적으로 포착한다.
• 인자 하중행렬의 최대우도추정량 $ \hat{L} $ 은 일관성과 점근정규성을 가지며, $ \sqrt{p}(\hat{L}_{m\cdot} - L^*_{m\cdot}) \xrightarrow{d} N_r(0, \Sigma_L) $ 를 만족하며, $ \Sigma_L $ 는 행 인자와 열 인자 분산의 비율에 의존한다.
• 유사하게 $ \sqrt{q}(\hat{\Lambda}_{k\cdot} - \Lambda^*_{k\cdot}) \xrightarrow{d} N_c(0, \Sigma_\Lambda) $ 를 만족하여 열 인자 하중의 일관된 추정이 가능하다.
• 행 인자 분산 추정량 $ \hat{\Psi}_F $ 는 $ \sqrt{p} \cdot \text{diag}(\hat{\Psi}_F - \Psi_F^*) \xrightarrow{d} N_r(0, 2\Psi_F^{*2}) $ 를 만족하여 분산 추정량의 점근정규성을 확인한다.
• 놀라운 결과로는 인자 하중 추정 분산이 행 인자 분산과 열 인자 분산의 거리에 따라 영향을 받는다는 점이며, 이는 고전적 요인분석에서는 관찰되지 않는 특성이다.
• 시뮬레이션과 실제 공기오염 데이터 분석을 통해 모델이 의미 있는 잠재 패턴을 회복하고, 벡터화된 요인모형보다 행과 열에 특화된 구조를 더 잘 포착함을 확인했다.