[論文レビュー] Optimal Subspace Estimation Using Overidentifying Vectors via Generalized Method of Moments

Jianqing Fan, Yiqiao Zhong|arXiv (Cornell University)|May 8, 2018

Statistical Methods and Inference参考文献 44被引用数 9

ひとこと要約

本稿では、一般化方法のモーメント（GMM）を用いて過剰識別的ベクトルを活用し、正準角の漸近的誤差を最小化する最適な部分空間推定手法を提案する。複数のモーメント条件を効率的に組み合わせることで、要因モデル、混合モデル、分散推定に応用可能な最小の推定誤差を達成する。

ABSTRACT

Many statistical models seek relationship between variables via subspaces of reduced dimensions. For instance, in factor models, variables are roughly distributed around a low dimensional subspace determined by the loading matrix; in mixed linear regression models, the coefficient vectors for different mixtures form a subspace that captures all regression functions; in multiple index models, the effect of covariates is summarized by the effective dimension reduction space. Such subspaces are typically unknown, and good estimates are crucial for data visualization, dimension reduction, diagnostics and estimation of unknown parameters. Usually, we can estimate these subspaces by computing moments from data. Often, there are many ways to estimate a subspace, by using moments of different orders, transformed moments, etc. A natural question is: how can we combine all these moment conditions and achieve optimality for subspace estimation? In this paper, we formulate our problem as estimation of an unknown subspace $\mathcal{S}$ of dimension $r$, given a set of overidentifying vectors $\{ \mathrm{\bf v}_\ell \}_{\ell=1}^m$ (namely $m \ge r$) that satisfy $\mathbb{E} \mathrm{\bf v}_{\ell} \in \mathcal{S}$ and have the form $$ \mathrm{\bf v}_\ell = \frac{1}{n} \sum_{i=1}^n \mathrm{\bf f}_\ell(\mathbf{x}_i, y_i), $$ where data are i.i.d. and each function $\mathrm{\bf f}_\ell$ is known. By exploiting certain covariance information related to $\mathrm{\bf v}_\ell$, our estimator of $\mathcal{S}$ uses an optimal weighting matrix and achieves the smallest asymptotic error, in terms of canonical angles. The analysis is based on the generalized method of moments that is tailored to our problem. Our method is applied to aforementioned models and distributed estimation of heterogeneous datasets, and may be potentially extended to analyze matrix completion, neural nets, among others.

研究の動機と目的

• 高次元データにおける低次元部分空間を推定する統計的に最適な手法を開発すること。特に、複数のモーメント条件が利用可能な状況を想定する。
• 目的部分空間内に期待値条件を満たす複数の過剰識別的ベクトルを、1つの効率的推定量に統合する課題に取り組むこと。
• モーメント条件を最適に重み付けすることにより、正準角の観点から部分空間の漸近的推定誤差を最小化すること。
• 要因モデル、混合線形回帰、複数インデックスモデルなど多様なモデルに適用可能な統一的な枠組みを提供すること。
• モーメントに基づく推論を用いて、異種のデータソースからの部分空間情報を集約することで、効率的な分散推定を可能にすること。

提案手法

• 過剰識別的ベクトル $\mathbf{v}_\ell$ が $\mathbb{E}[\mathbf{v}_\ell] \in \mathcal{S}$ を満たすという条件のもと、部分空間推定をGMM問題として定式化する。ここで $\mathcal{S}$ は未知の $r$ 次元部分空間を表す。
• 独立同一分布に従うデータから得られる経験的モーメント $\mathbf{v}_\ell = \frac{1}{n}\sum_{i=1}^n \mathbf{f}_\ell(\mathbf{x}_i, y_i)$ を用いて推定方程式を構築する。
• 過剰識別的ベクトルの共分散構造に基づいて、部分空間推定量の漸近的分散を最小化する最適重み行列を導出する。
• 一般化方法のモーメントを用いて、重み付きモーメント行列の和の固有分解により部分空間を推定する。
• Davis-Kahanの定理およびWeylの不等式を用いて、推定された部分空間射影子の一貫性および漸近正規性を確立する。
• 摂動解析を導入し、すべてのGMMに基づく推定量の中で、正準角誤差が最小の漸近的誤差を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 複数の過剰識別的ベクトルをどのように最適に組み合わせ、最小の漸近的誤差で低次元部分空間を推定できるか？
• RQ2 部分空間推定におけるモーメント条件の最適重み行列は何か？ また、それが正準角誤差をどのように最小化するか？
• RQ3 一般化方法のモーメントは、潜在構造を有するモデルにおいて、漸近的に効率的な部分空間推定量を導くように適応可能か？
• RQ4 提案手法は、既存の部分空間推定手法と比較して、統計的効率性およびロバスト性においてどのように異なるか？
• RQ5 一般的なモーメント条件のもとで、推定量の一致性および漸近分布に対する理論的保証は何か？

主な発見

• 提案されたGMMベースの推定量は、同一のモーメント条件を用いるすべての可能な推定量の中で、正準角の漸近的誤差が最小であることを達成する。
• 最適重み行列は、過剰識別的ベクトルの共分散構造から導出され、部分空間推定における効率性を保証する。
• 推定量は一貫しており、かつ漸近正規分布に従い、真の射影子との差のFrobeniusノルムにおいて $\sqrt{n}$-収束率を示す。
• 本手法は、要因モデル、混合線形回帰、複数インデックスモデル、および異種データセットの分散推定に適用可能である。
• 理論的解析により、推定量の漸近的分布が、与えられたモーメント条件のもとで部分空間推定におけるCramér-Raoの下界と一致することが確認された。
• 過剰識別的ベクトルが条件付き期待値条件 $\mathbb{E}[\mathbf{v}_\ell] \in \mathcal{S}$ を満たす限り、モデルの誤指定に対してもロバストである。