[論文レビュー] Adaptive Estimation of Multivariate Regression with Hidden Variables

Xin Bing, Yang Ning+1 more|arXiv (Cornell University)|Mar 30, 2020

Statistical Methods and Inference参考文献 54被引用数 4

ひとこと要約

本稿では、観測されない隠れ変数が存在するがその影響を考慮した多変量回帰係数の適応的推定のための新しいアルゴリズムHIVEを提案する。2段階の手続きとして、グループリッジとリッジ罰則を組み合わせることで、まず係数行列と残差構造を推定し、次に隠れ変数の影響を射影して除去する。ホモスケダスティックおよびヘテロスケダスティックな誤差のもとで、漸近的でない誤差バウンドを確立し、同定可能性と統計的一貫性を保証する。

ABSTRACT

This paper studies the estimation of the coefficient matrix $\Ttheta$ in multivariate regression with hidden variables, $Y = (\Ttheta)^TX + (B^*)^TZ + E$, where $Y$ is a $m$-dimensional response vector, $X$ is a $p$-dimensional vector of observable features, $Z$ represents a $K$-dimensional vector of unobserved hidden variables, possibly correlated with $X$, and $E$ is an independent error. The number of hidden variables $K$ is unknown and both $m$ and $p$ are allowed but not required to grow with the sample size $n$. Since only $Y$ and $X$ are observable, we provide necessary conditions for the identifiability of $\Ttheta$. The same set of conditions are shown to be sufficient when the error $E$ is homoscedastic. Our identifiability proof is constructive and leads to a novel and computationally efficient estimation algorithm, called HIVE. The first step of the algorithm is to estimate the best linear prediction of $Y$ given $X$ in which the unknown coefficient matrix exhibits an additive decomposition of $\Ttheta$ and a dense matrix originated from the correlation between $X$ and the hidden variable $Z$. Under the row sparsity assumption on $\Ttheta$, we propose to minimize a penalized least squares loss by regularizing $\Ttheta$ via a group-lasso penalty and regularizing the dense matrix via a multivariate ridge penalty. Non-asymptotic deviation bounds of the in-sample prediction error are established. Our second step is to estimate the row space of $B^*$ by leveraging the covariance structure of the residual vector from the first step. In the last step, we remove the effect of hidden variable by projecting $Y$ onto the complement of the estimated row space of $B^*$. Non-asymptotic error bounds of our final estimator are established. The model identifiability, parameter estimation and statistical guarantees are further extended to the setting with heteroscedastic errors.

研究の動機と目的

• 観測された特徴量と相関する未観測の隠れ変数が存在する状況での多変量回帰係数の推定という課題に対処すること。
• 隠れ変数が存在する状況での係数行列Θの同定可能性に必要な十分な条件を確立すること。
• 未知の数の隠れ変数と増加する次元を扱える計算的に効率的な推定アルゴリズムを開発すること。
• ホモスケダスティックおよびヘテロスケダスティックな誤差構造のもとで、予測および推定誤差の漸近的でないバウンドを提供すること。
• 応答変数の数（m）と予測変数の数（p）が標本サイズnとともに増加する状況へのフレームワークの拡張すること。

提案手法

• ZがXと相関する未観測の隠れ変数を表すものとして、多変量回帰モデルをY = Θ^T X + (B^*)^T Z + Eと定式化する。
• 誤差がホモスケダスティックである場合に、必要かつ十分な条件の下でΘの同定可能性を構成的に証明する。
• HIVEアルゴリズムを提案：まず、YをXに関して最良の線形予測子として推定し、Θをスパース成分と密度成分に分解する。
• グループリッジをΘに、多変量リッジを密度成分に適用して、行スパarsityと安定性を強制する、罰則付き最小二乗損失を最小化する。
• 最初の段階の残差の共分散構造を分析することで、B^*の行空間を推定する。
• YをB^*の推定行空間の直交補空間に射影することで、隠れ変数の影響を除去し、最終的な推定量を導出する。

実験結果

リサーチクエスチョン

• RQ1 多変量回帰に隠れ変数が存在する状況で、係数行列Θの同定可能性が成立する条件は何か？
• RQ2 隠れ変数の数Kが未知であり、Zが観測不能である状況でも、Θを一貫して推定する方法は何か？
• RQ3 行スパarsityと誤差のヘテロスケダスティシーが成立する状況で、提案手法の予測誤差の漸近的でない挙動はどのように振る舞うか？
• RQ4 統計的保証を維持しながら、推定手順を計算的に効率化することは可能か？
• RQ5 残差の共分散構造は、隠れ変数空間の推定にどのように寄与するか？

主な発見

• 誤差がホモスケダスティックである場合、提案された同定可能性の条件は必要かつ十分であり、これらの制約のもとでΘの正確な回復が可能である。
• HIVEアルゴリズムは、グループリッジとリッジ正則化を組み合わせた2段階手続きにより、漸近的でないインサンプル予測誤差バウンドを達成する。
• YをB^*の推定行空間の補空間に射影することで得られる最終推定量は、漸近的でない誤差バウンドを達成する。
• 応答変数の数mと予測変数の数pが標本サイズnとともに増加する場合でも、この手法は有効であり、統計的に一貫性を保つ。
• フレームワークはヘテロスケダスティックな誤差へと拡張され、同じ構造的仮定のもとで同定可能性が維持され、誤差バウンドが提供される。
• 同定可能性の構成的証明は、アルゴリズム設計に直接的につながり、推定手順が計算的に効率的かつ統計的に妥当であることを保証する。