[논문 리뷰] Optimal Subspace Estimation Using Overidentifying Vectors via Generalized Method of Moments

Jianqing Fan, Yiqiao Zhong|arXiv (Cornell University)|2018. 05. 08.

Statistical Methods and Inference참고 문헌 44인용 수 9

한 줄 요약

이 논문은 일반화된 모멘트 방법(GMM)을 이용하여 초과정의 벡터를 활용한 최적의 부분공간 추정 방법을 제안한다. 최적의 가중치 행렬을 활용해 캐논ical 각도 기준으로 점근적 오차를 최소화하며, 여러 모멘트 조건을 효율적으로 통합함으로써 가능한 한 작은 추정 오차를 달성한다. 이 방법은 요인 모델, 혼합 모델, 분산 추정에 적용 가능하다.

ABSTRACT

Many statistical models seek relationship between variables via subspaces of reduced dimensions. For instance, in factor models, variables are roughly distributed around a low dimensional subspace determined by the loading matrix; in mixed linear regression models, the coefficient vectors for different mixtures form a subspace that captures all regression functions; in multiple index models, the effect of covariates is summarized by the effective dimension reduction space. Such subspaces are typically unknown, and good estimates are crucial for data visualization, dimension reduction, diagnostics and estimation of unknown parameters. Usually, we can estimate these subspaces by computing moments from data. Often, there are many ways to estimate a subspace, by using moments of different orders, transformed moments, etc. A natural question is: how can we combine all these moment conditions and achieve optimality for subspace estimation? In this paper, we formulate our problem as estimation of an unknown subspace $\mathcal{S}$ of dimension $r$, given a set of overidentifying vectors $\{ \mathrm{\bf v}_\ell \}_{\ell=1}^m$ (namely $m \ge r$) that satisfy $\mathbb{E} \mathrm{\bf v}_{\ell} \in \mathcal{S}$ and have the form $$ \mathrm{\bf v}_\ell = \frac{1}{n} \sum_{i=1}^n \mathrm{\bf f}_\ell(\mathbf{x}_i, y_i), $$ where data are i.i.d. and each function $\mathrm{\bf f}_\ell$ is known. By exploiting certain covariance information related to $\mathrm{\bf v}_\ell$, our estimator of $\mathcal{S}$ uses an optimal weighting matrix and achieves the smallest asymptotic error, in terms of canonical angles. The analysis is based on the generalized method of moments that is tailored to our problem. Our method is applied to aforementioned models and distributed estimation of heterogeneous datasets, and may be potentially extended to analyze matrix completion, neural nets, among others.

연구 동기 및 목표

• 고차원 데이터에서 저차원 부분공간을 추정하기 위한 통계적으로 최적의 방법을 개발하는 것, 특히 다수의 모멘트 조건이 존재할 경우를 대상으로 한다.
• 목표 부분공간 내에서 기대값 조건을 만족하는 각각의 초과정의 벡터를 통합하여 단일이고 효율적인 추정기로 조합하는 데 도전하는 것.
• 모멘트 조건을 최적으로 가중치를 부여하여 부분공간의 점근적 추정 오차를 캐논ical 각도 기준으로 최소화하는 것.
• 요인 모델, 혼합 선형 회귀, 다중 인덱스 모델과 같은 다양한 모델에 적용 가능한 통합 프레임워크를 제공하는 것.
• 모멘트 기반 추론을 통해 이질적인 데이터 소스에서 유래한 부분공간 정보를 집계함으로써 효율적인 분산 추정을 가능하게 하는 것.

제안 방법

• 초과정의 벡터 $\mathbf{v}_\ell$ 가 $\mathbb{E}[\mathbf{v}_\ell] \in \mathcal{S}$ 를 만족하도록 하며, $\mathcal{S}$ 는 알려지지 않은 $r$ 차원 부분공간인 GMM 문제로 부분공간 추정을 수립한다.
• 독립 동일분포(i.i.d.) 데이터로부터 유도된 경험 모멘트 $\mathbf{v}_\ell = \frac{1}{n}\sum_{i=1}^n \mathbf{f}_\ell(\mathbf{x}_i, y_i)$ 를 사용하여 추정 방정식을 구성한다.
• 초과정의 벡터의 공분산 구조를 기반으로 최적의 가중치 행렬을 유도하여 부분공간 추정기의 점근적 분산을 최소화한다.
• 일반화된 방법의 모멘트를 활용하여 가중합의 고유분해를 통해 부분공간을 추정한다.
• Davis-Kahan 정리와 Weyl 부등식을 적용하여 추정된 부분공간 프로젝터의 일致성과 점근 정규성을 입증한다.
• 편차 분석을 도입하여, 이 추정기가 주어진 모멘트 조건 하에서 모든 GMM 기반 추정기 중에서 가능한 한 작은 점근적 오차를 갖는다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 다수의 초과정의 벡터를 어떻게 최적으로 조합하여 점근적 오차가 최소가 되는 저차원 부분공간을 추정할 수 있는가?
• RQ2 부분공간 추정에서 모멘트 조건에 대한 최적의 가중치 행렬은 무엇이며, 이는 캐논ical 각도 오차를 어떻게 최소화하는가?
• RQ3 일반화된 모멘트 방법은 잠재 구조를 가진 모델에서 점근적으로 효율적인 부분공간 추정기를 도출하기 위해 어떻게 적응시킬 수 있는가?
• RQ4 제안된 방법은 기존의 부분공간 추정 기법과 비교해 통계적 효율성과 내성 면에서 어떻게 다른가?
• RQ5 일반적인 모멘트 조건 하에서 추정기의 일치성과 점근 분포에 대한 이론적 보장은 무엇인가?

주요 결과

• 제안된 GMM 기반 추정기는 동일한 모멘트 조건을 사용하는 모든 가능한 추정기 중에서 캐논ical 각도 기준으로 가능한 한 작은 점근적 오차를 달성한다.
• 최적의 가중치 행렬은 초과정의 벡터의 공분산 구조에서 유도되며, 부분공간 추정의 효율성을 보장한다.
• 추정기는 일관적이며 점근 정규적이며, 진짜 프로젝터와의 차이의 프로베니우스 노름 기준으로 $\sqrt{n}$ 수렴 속도를 가진다.
• 이 방법은 요인 모델, 혼합 선형 회귀, 다중 인덱스 모델, 이질적 데이터 세트의 분산 추정에 적용 가능하다.
• 이론적 분석을 통해 추정기의 점근 분포가 주어진 모멘트 조건 하에서 부분공간 추정의 Cramér-Rao 하한을 정확히 충족함을 확인하였다.
• 초과정의 벡터가 조건부 기대값 조건 $\mathbb{E}[\mathbf{v}_\ell] \in \mathcal{S}$ 를 만족하는 한, 모델 오특사정에 대해 강건함을 유지한다.