[論文レビュー] Variable selection in high-dimensional additive models based on norms of projections

Martin Wahl|arXiv (Cornell University)|May 31, 2014

Statistical Methods and Inference参考文献 21被引用数 5

ひとこと要約

本稿は、ヒルバート空間の幾何学的性質と集中不等式を活用して、加法的部分空間への射影のノルムを用いた、高次元加法的モデルにおける新しい変数選択手法を提案する。最小限の幾何的仮定のもとで、一貫的な変数選択のための条件を確立し、他の成分が未知であっても個々の成分が最適なレートで推定可能であることを示している。

ABSTRACT

We consider the problem of variable selection in high-dimensional sparse additive models. We focus on the case that the components belong to nonparametric classes of functions. The proposed method is motivated by geometric considerations in Hilbert spaces and consists of comparing the norms of the projections of the data onto various additive subspaces. Under minimal geometric assumptions, we prove concentration inequalities which lead to new conditions under which consistent variable selection is possible. As an application, we establish conditions under which a single component can be estimated with the rate of convergence corresponding to the situation in which the other components are known.

研究の動機と目的

• 標本サイズに比べて説明変数の数がはるかに多い高次元スパース加法的モデルにおける変数選択を扱う。
• 加法的部分空間への射影の経験的ノルムを比較するヒルバート空間幾何学に基づく手法を開発する。
• 非パラメトリック加法的モデルにおいて一貫的な変数選択が可能となる理論的条件を確立する。
• 他の成分が既知であるかのように、1つの成分が最小最大最適レートで推定可能となる条件を導出する。

提案手法

• 応答変数が対応する加法的部分空間へ射影するノルムが最大である説明変数の部分集合を選択する。
• 加法的部分空間の幾何的分離度に基づく母集団レベルの選択基準を用い、それらの間の最小角がゼロから離れていることが必要である。
• 構造的ランダム行列理論の道具を用いて、経験的ノルムが$L^2(\mathbb{P}^X)$-ノルムのまわりで強い一様集中することを導出する。
• 独立な説明変数の場合は、制限（ブロック）等長性性質が成り立つことを示し、圧縮センシングフレームワークと関連付ける。
• 推定誤差を制御するために、カイ二乗分布およびガウス混合項の集中不等式を用いる。
• すべての候補サブセットにわたる和集合を適用して、変数選択の一貫性を高確率で保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元非パラメトリック加法的モデルにおける変数選択を、射影ノルムに基づく幾何的基準を用いて一貫的に行うことは可能か？
• RQ2 射影ノルム法が関連変数を一貫的に選択するための幾何的および確率的条件は何か？
• RQ3 他の成分が未知であっても、1つの成分を最小最大最適レートで推定することは可能か、高次元設定下でも成立するか？
• RQ4 本手法の性能は、高次元回帰におけるLassoや指数重み付け法などの既存手法とどのように関係するか？
• RQ5 加法的部分空間間の最小角が一貫的な変数選択を保証するために果たす役割は何か？

主な発見

• 最小角が互いに離れていること（ゼロから離れていること）という最小限の幾何的仮定のもとで、本手法は一貫的な変数選択を達成する。
• 関連変数を見逃す確率は、3つの項の和で抑えられ、それぞれがカイ二乗分布およびガウス混合の集中不等式によって制御される。
• 最初の2つの項は標本サイズとともに指数関数的に減少し、そのレートは候補サブスペースの次元および成分の分離度に依存する。
• 3番目の項（ノイズとの内積）は、ガウス集中および制限（ブロック）等長性性質を用いて制御される。
• 設計および成分の滑らかさに関する適切な条件下で、他のすべての成分が既知である場合と同等の最適レートで1つの成分を推定可能であることが保証される。
• 理論的枠組みは圧縮センシングの結果を一般化し、非パラメトリック加法的モデルにおける一貫した推定のための新たな条件を提供する。