[論文レビュー] SPARC: Optimal Estimation and Asymptotic Inference under Semiparametric Sparsity

Yang Ning, Han Liu|arXiv (Cornell University)|Dec 6, 2014

Statistical Methods and Inference参考文献 46被引用数 5

ひとこと要約

本稿では、未知のベース測度を推定することなく最適推定と漸近的推論を可能にする、高次元半パラメトリック一般化線形モデルにおける尤度比に基づく推論フレームワークSPARCを提案する。この手法は、非凸罰則とモデル不適合の状況を扱える新たな方向性尤度を用いて正則化後の信頼領域と仮説検定を構築する。理論的貢献として、新しいU統計量の集中不等式が得られている。

ABSTRACT

We propose a likelihood ratio based inferential framework for high dimensional semiparametric generalized linear models. This framework addresses a variety of challenging problems in high dimensional data analysis, including incomplete data, selection bias, and heterogeneous multitask learning. Our work has three main contributions. (i) We develop a regularized statistical chromatography approach to infer the parameter of interest under the proposed semiparametric generalized linear model without the need of estimating the unknown base measure function. (ii) We propose a new framework to construct post-regularization confidence regions and tests for the low dimensional components of high dimensional parameters. Unlike existing post-regularization inferential methods, our approach is based on a novel directional likelihood. In particular, the framework naturally handles generic regularized estimators with nonconvex penalty functions and it can be used to infer least false parameters under misspecified models. (iii) We develop new concentration inequalities and normal approximation results for U-statistics with unbounded kernels, which are of independent interest. We demonstrate the consequences of the general theory by using an example of missing data problem. Extensive simulation studies and real data analysis are provided to illustrate our proposed approach.

研究の動機と目的

• 高次元データ解析における課題、すなわち不完全なデータ、選択バイアス、異種マルチタスク学習を、半パラメトリック一般化線形モデルの枠組みで扱うことを目的とする。
• 未知のベース測度関数の推定を必要としない、パラメータの推論を可能にする正則化された統計クロマトグラフィー手法の開発を目的とする。
• 高次元パラメータの低次元成分に対する正則化後の有効な信頼領域と仮説検定の構築を目的とする。
• 非凸罰則を伴う一般化された正則化推定量およびモデル不適合下での最小誤差パラメータを含む状況への推論ツールの拡張を目的とする。
• 有界でない核を持つU統計量のための新しい集中不等式および正規近似結果を導出することを目的とする。

提案手法

• 半パラメトリックモデルの構造を活用してベース測度の直接推定を回避することで、目的パラメータを推定する正則化された統計クロマトグラフィー手法を提案する。
• 正則化後の低次元成分の推論のための信頼領域と仮説検定を構築するために、新たな方向性尤度関数を導入する。
• 方向性尤度に基づく尤度比検定統計量を採用し、非凸罰則関数に対して頑健な推論を実現する。
• 高次元設定における推定誤差の制御と漸近正規性の確立のために、有界でない核を持つU統計量の新しい集中不等式を適用する。
• 弱いモーメント条件の下で、有界でない核を持つU統計量の正規近似結果を導出することで、古典的漸近理論を有界でない核へと拡張する。
• シミュレーションと実データ解析を通じて、欠損データ問題への適用を示し、実用的有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 未知のベース測度の推定を伴わずに、高次元半パラメトリックモデルにおける低次元成分の有効な正則化後推論をどのように実現できるか？
• RQ2 非凸罰則およびモデル不適合下でも有効なまま保たれる尤度に基づく推論フレームワークを構築できるか？
• RQ3 高次元設定において、有界でない核を持つU統計量の漸近正規性を保証するために、どのような新しい集中不等式が必要か？
• RQ4 提案された方向性尤度アプローチは、既存の正則化後手法と比較して、信頼性の高い被覆率と頑健性をどのように上回るか？
• RQ5 本フレームワークは、欠損データや異種マルチタスク学習といった実世界の問題に、どのような形で応用可能か？

主な発見

• 提案されたSPARCフレームワークは、未知のベース測度関数の推定を要せず、高次元半パラメトリック一般化線形モデルにおいて最適推定と漸近的推論を可能にする。
• 方向性尤度アプローチにより、非凸罰則を用いた場合でも、低次元成分に対する有効な正則化後信頼領域と仮説検定が得られる。
• フレームワークはモデル不適合に対しても頑健であり、そのような状況下でも最小誤差パラメータを推論できる。
• 有界でない核を持つU統計量のための新しい集中不等式が確立され、推定量の漸近的挙動に対する理論的裏付けが得られた。
• 弱いモーメント条件の下で、有界でない核を持つU統計量の正規近似結果が導出され、古典的漸近理論が有界でない核へと拡張された。
• シミュレーションと実データ解析により、SPARCが欠損データや複雑な高次元構造を効果的に扱う実用的有効性が示された。