[論文レビュー] Inference for Low-Rank Models

Victor Chernozhukov, Christian Hansen+2 more|arXiv (Cornell University)|Jul 6, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、発散する特異値と非一貫性のある特異ベクトルを有する低ランク行列モデルに対して、核ノルム正則化による段階的推定手順を提案し、その後に通常最小二乗法を適用することで、漸近正規推定と半パラメトリック効率性を達成する。この手法により、説明変数に強い依存構造が存在する場合でも、低ランク行列の線形関数への信頼区間が有効に構築可能である。

ABSTRACT

This paper studies inference in linear models with a high-dimensional parameter matrix that can be well-approximated by a ``spiked low-rank matrix.'' A spiked low-rank matrix has rank that grows slowly compared to its dimensions and nonzero singular values that diverge to infinity. We show that this framework covers a broad class of models of latent-variables which can accommodate matrix completion problems, factor models, varying coefficient models, and heterogeneous treatment effects. For inference, we apply a procedure that relies on an initial nuclear-norm penalized estimation step followed by two ordinary least squares regressions. We consider the framework of estimating incoherent eigenvectors and use a rotation argument to argue that the eigenspace estimation is asymptotically unbiased. Using this framework we show that our procedure provides asymptotically normal inference and achieves the semiparametric efficiency bound. We illustrate our framework by providing low-level conditions for its application in a treatment effects context where treatment assignment might be strongly dependent.

研究の動機と目的

• 特異値が発散する低ランク近似を持つ高次元線形モデルにおける有効な推論フレームワークの構築を目的とする。
• 設計行列に強い依存構造を示す場合に、低ランク行列係数の線形関数への信頼区間を構築する課題に対処することを目的とする。
• 弱い正則性条件の下で、提案された推定量の漸近正規性と半パラメトリック効率性を確立することを目的とする。
• 従来のスパースモデルにとどまらず、低ランク行列の密な線形結合にまで拡張可能な推論手法を拡張することを目的とする。特に、持続的な処置割り当てを伴う処置効果推定において有効である。
• 推定誤差と推論分散の依存性を低減するため、標本分割に基づくロバストな手続きを提供し、正則化バイアスを回転法による特異ベクトルの操作で除去することを目的とする。

提案手法

• 係数行列 Θ の初期低ランク近似を得るために、核ノルム正則化推定を適用する。
• 初期推定量から右特異ベクトルを抽出し、2段階目のOLS回帰の説明変数として扱う。
• OLSを用いて左特異ベクトルを推定し、右特異ベクトルを更新することで、初期推定量を回転させ、バイアスを除去する。
• 最終推定量を推定された左特異ベクトルと右特異ベクトルの外積として構築し、真の固有空間と整合させる。
• 標本分割を用いて推定と推論を分離し、推定誤差と推論分散の依存性を低減する。
• ノイズレベル推定の経験的分位数に基づくプラグイン手順を用いて、核ノルム正則化のチューニングパラメータを決定する。

実験結果

リサーチクエスチョン

• RQ1 特異値が発散する場合に、低ランク行列係数の線形関数に対して漸近的に有効な信頼区間を構築できるか？
• RQ2 提案された2段階OLS手順は、核ノルム正則化によるバイアスを除去し、半パラメトリック効率性を達成するか？
• RQ3 スプライク型特異値と非一貫性条件が、低ランクモデルにおける有限標本での推論性能に与える影響は何か？
• RQ4 行列補完や時系列的処置割り当てのような状況で、設計行列に強い依存構造が存在する場合でもこの手法は対応可能か？
• RQ5 非i.i.d.および持続的共変量を伴う弱い条件下でも、推定量は漸近正規かつ効率的か？

主な発見

• スプライク型特異値および非一貫性条件の下で、提案された推定量は低ランク行列の線形関数に対して漸近正規性を達成する。
• この手法は半パラメトリック効率限界に達しており、すべての正則推定量の中で最小の漸近分散を達成する。
• シミュレーション結果では、さまざまな設定において95%信頼区間のカバレッジ確率が0.942から0.956の間で安定しており、良好な有限標本性能を示している。
• シミュレーションにおいて、ランク J が1から4の範囲で推定器のカバレッジ確率が安定しており、J の選択に強く依存しない。
• 系統的な処置割り当てや持続的欠損を伴う行列補完のような状況でも、X に強い依存構造が存在する場合でも推論が可能である。
• 理論的結果により、スプライク型特異値および非一貫性条件がなければ、成分ごとの推論は不可能であることが確認され、これらの条件の必要性が裏付けられた。