[論文レビュー] A Unified Theory of Confidence Regions and Testing for High Dimensional Estimating Equations

Matey Neykov, Ning Yang+2 more|arXiv (Cornell University)|Oct 30, 2015

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、推定方程式で定義される高次元モデルにおける信頼領域の構築および仮説検定を行うための尤度フリーな推論フレームワークを提案する。大規模な線形計画法を用いてフィットした推定方程式をスパース方向に投影することにより、完全な尤度の指定を必要とせず、ノイズを含む圧縮センシング、インスツルメンタル変数回帰、グラフィカルモデル、およびベクトル自己回帰など、高次元問題における有効な推論を可能にする統一的なZ推定理論を確立する。

ABSTRACT

We propose a new inferential framework for constructing confidence regions and testing hypotheses in statistical models specified by a system of high dimensional estimating equations. We construct an influence function by projecting the fitted estimating equations to a sparse direction obtained by solving a large-scale linear program. Our main theoretical contribution is to establish a unified Z-estimation theory of confidence regions for high dimensional problems. Different from existing methods, all of which require the specification of the likelihood or pseudo-likelihood, our framework is likelihood-free. As a result, our approach provides valid inference for a broad class of high dimensional constrained estimating equation problems, which are not covered by existing methods. Such examples include, noisy compressed sensing, instrumental variable regression, undirected graphical models, discriminant analysis and vector autoregressive models. We present detailed theoretical results for all these examples. Finally, we conduct thorough numerical simulations, and a real dataset analysis to back up the developed theoretical results.

研究の動機と目的

• 次元dが標本サイズnを上回る高次元モデルにおいて、推定方程式で定義されるモデルに対して有効な推論手法が不足しているという問題を解決すること。
• 完全な分布的仮定を必要とする従来の尤度ベース手法の制限を克服すること。
• 高次元の制約付き推定方程式問題の広いクラスに適用可能な統一的なフレームワークを構築すること。
• インスツルメンタル変数、グラフィカルモデル、およびベクトル自己回帰のようなモデルにおける、関心パラメータの正則化後の推論を可能にすること。
• 完全な尤度構造を仮定しない最小限のモーメント条件の下で、信頼領域および仮説検定の理論的保証を確立すること。

提案手法

• 高次元推定方程式に基づくZ推定フレームワークを用いて推論を定式化する。
• 大規模な線形計画法を解いて得られるスパース方向への推定方程式の投影によってインパクト関数を構築する。
• Dantzigセレクタ型の制約を用いてパラメータ推定値のスパarsityを強制する：ℓ1ノルムを最小化し、制約条件として ∥t(Z,β)∥∞ ≤ λ を満たす。
• 正則性条件の下でインパクト関数の漸近正規性を導出し、信頼領域の構築を可能にする。
• 集中不等式およびランダム行列理論を用いて推定誤差を制御し、インパクト関数の一致性を保証する。
• 一様収束および推定誤差のスパarsityに基づくバインディングを用いて、信頼領域および仮説検定の理論的妥当性を確立する。

実験結果

リサーチクエスチョン

• RQ1 完全な尤度モデルを仮定しないで、高次元の関心パラメータの有効な信頼領域を構築することは可能か？
• RQ2 インスツルメンタル変数やグラフィカルモデルのようなモーメント条件で定義される高次元モデルにおいて、どのように一貫した推論を実現できるか？
• RQ3 高次元設定において、推定方程式のスパース投影を用いてインパクト関数を構築する理論的根拠は何か？
• RQ4 d ≫ n かつ真のパラメータがスパースである場合、提案手法が信頼領域の有効な被覆を維持するのはなぜか？
• RQ5 圧縮センシング、IV回帰、およびベクトル自己回帰のような多様なモデルに、モデル固有の尤度仮定なしに一貫して適用可能か？

主な発見

• 提案手法は、やや厳しいモーメント条件のもとでインパクト関数の漸近正規性を達成し、高次元パラメータの有効な信頼領域の構築を可能にする。
• フレームワークは、ノイズを含む圧縮センシング、インスツルメンタル変数回帰、無向グラフィカルモデル、判別分析、およびベクトル自己回帰モデルを含む広範なクラスのモデルに対して有効な推論を提供する。
• スパarsityおよび制限固有値型の条件の下で理論的保証が確立され、推定量およびインパクト関数の収束が保証される。
• 適切な正則性のもとで、経験的推定方程式が期待値に一様収束し、誤差バインディングが O(√(log d / n)) のスケールで成立する。
• 数値シミュレーションおよび実データ解析により、多様な高次元設定において本手法の経験的妥当性と頑健性が確認された。
• 本手法は尤度フリーであり、モーメント条件のみを必要とするため、完全な尤度が計算不能または誤って指定されているモデルにも適用可能である。