[論文レビュー] Optimality of Graphlet Screening in High Dimensional Variable Selection

Jiashun Jin, Cun‐Hui Zhang+1 more|arXiv (Cornell University)|Apr 29, 2012

Sparse and Compressive Sensing Techniques参考文献 46被引用数 42

ひとこと要約

本稿では、レアで弱い信号モデル下での高次元変数選択のための二段階のスクリーニングとクリーニング手法として、Graphlet Screening (GS) を提案する。GOSD を用いてスパースで非連結なグラフレットを同定することで、ハミング距離における最適なミニマックス収束速度を達成し、局所的なグラフィカル構造を無視する標準的な L0/L1 正則化手法よりも優れる。

ABSTRACT

Consider a linear regression model where the design matrix X has n rows and p columns. We assume (a) p is much large than n, (b) the coefficient vector beta is sparse in the sense that only a small fraction of its coordinates is nonzero, and (c) the Gram matrix G = X'X is sparse in the sense that each row has relatively few large coordinates (diagonals of G are normalized to 1). The sparsity in G naturally induces the sparsity of the so-called graph of strong dependence (GOSD). We find an interesting interplay between the signal sparsity and the graph sparsity, which ensures that in a broad context, the set of true signals decompose into many different small-size components of GOSD, where different components are disconnected. We propose Graphlet Screening (GS) as a new approach to variable selection, which is a two-stage Screen and Clean method. The key methodological innovation of GS is to use GOSD to guide both the screening and cleaning. Compared to m-variate brute-forth screening that has a computational cost of p^m, the GS only has a computational cost of p (up to some multi-log(p) factors) in screening. We measure the performance of any variable selection procedure by the minimax Hamming distance. We show that in a very broad class of situations, GS achieves the optimal rate of convergence in terms of the Hamming distance. Somewhat surprisingly, the well-known procedures subset selection and the lasso are rate non-optimal, even in very simple settings and even when their tuning parameters are ideally set.

研究の動機と目的

• レアで弱い信号の状態において、根本的に正しいかつ計算的に効率的な変数選択手法を開発すること。
• 正確なサポート回復よりも適切なハミング距離基準に基づく、変数選択の理論的最適性を確立すること。これは弱い信号に対してより適切である。
• Graphlet Screening がミニマックスハミング距離の観点から最適な収束速度を達成することを示すこと。
• 標準的な L0/L1 正則化手法が、局所的なグラフィカル構造を無視するため、最適な収束速度に到達できないこと、すなわち、最適なチューニングでさえも同様であることを示すこと。

提案手法

• 二段階のスクリーニングとクリーニング手順を提案：まず、GOSD の部分グラフを逐次カイ二乗検定を用いてスクリーニングする。
• GOSD を、スクリーニングおよびクリーニングの両段階を導くために使用。GOSD はスパースなグラム行列 G = X'X から導出される。
• クリーニング段階では、各同定されたグラフレット内での推定値を精緻化するために、正則化付き最尤推定 (MLE) を適用する。
• 推定係数ベクトルと真の係数ベクトルの符号ベクトル間のハミング距離損失関数を用いて性能を測定する。
• 本手法は、真の信号サポートが GOSD 内で小さな非連結なグラフレットに分解されることを活用し、局所的推論を可能にする。
• 理論的分析はフェーズダイアグラム分析および漸近的ミニマックス性に依拠し、主にミルズの定理と集中不等式を用いて主要な結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 レアで弱い信号モデル下で、ハミング距離の観点から最適なミニマックス収束速度を達成できる変数選択手法は存在するか？
• RQ2 標準的な L0/L1 正則化手法が、最適なチューニングでさえも、この状況下で最適な収束速度に到達できないのはなぜか？
• RQ3 設計行列の局所的グラフィカル構造（GOSD を通じて）は、どのように改善された変数選択を可能にするか？
• RQ4 レアで弱い状態下での変数選択の最適フェーズダイアグラムは何か？ そして、それを達成できるか？
• RQ5 グラフ構造を活用する二段階のスクリーニングとクリーニング手順は、グローバル正則化手法を上回る性能を発揮できるか？

主な発見

• Graphlet Screening は、ハミング距離における最適なミニマックス収束速度を達成し、レアで弱い信号状態下での理論的最適性を確立した。
• 本手法は、局所的グラフィカル構造を活用しない標準的な L0/L1 正則化手法を上回り、最適なチューニングでさえも最適な収束速度に到達できないことから、性能に優れる。
• 正確なサポート回復はこの状況下で不可能であるため、ハミング距離損失は弱い信号に対して正確なサポート回復よりも適切な評価基準であることが示された。
• 真の信号サポートは、GOSD 内で自然に小さな非連結成分（グラフレット）に分解され、本手法はこれを効率的かつ正確な変数選択に活用している。
• 理論的分析により、Graphlet Screening が変数選択の最適フェーズダイアグラムを達成することが確認され、本文脈における重要な最適性基準を満たしている。
• 本手法は R パッケージ ScreenClean および MATLAB で実装されており、高次元漸近的条件下での厳密な漸近的分析によって理論的保証が裏付けられている。