[論文レビュー] Preconditioning to comply with the Irrepresentable Condition

Jinzhu Jia, Karl Rohe|arXiv (Cornell University)|Aug 28, 2012

Sparse and Compressive Sensing Techniques参考文献 32被引用数 19

ひとこと要約

本稿では、スパース線形回帰における設計行列を変換することで、制約が厳しいirrepresentable条件を満たす新たな前処理技術を提案する。これにより、元の設計行列がこの条件を満たさない場合でも、Lasso推定量の符号一貫性が保証される。特異値を0または1に正規化し、行または列に直交性を誘導する前処理行列を適用することにより、高次元設定（p >> n）においてモデル選択性能が顕著に向上し、理論的保証と強力なシミュレーション結果により、統計的一致性が向上し、制限的な相関仮定への依存が低減することが示された。

ABSTRACT

Preconditioning is a technique from numerical linear algebra that can accelerate algorithms to solve systems of equations. In this paper, we demonstrate how preconditioning can circumvent a stringent assumption for sign consistency in sparse linear regression. Given $X \in R^{n imes p}$ and $Y \in R^n$ that satisfy the standard regression equation, this paper demonstrates that even if the design matrix $X$ does not satisfy the irrepresentable condition for the Lasso, the design matrix $F X$ often does, where $F \in R^{n imes n}$ is a preconditioning matrix defined in this paper. By computing the Lasso on $(F X, F Y)$, instead of on $(X, Y)$, the necessary assumptions on $X$ become much less stringent. Our preconditioner $F$ ensures that the singular values of the design matrix are either zero or one. When $n\ge p$, the columns of $F X$ are orthogonal and the preconditioner always circumvents the stringent assumptions. When $p\ge n$, $F$ projects the design matrix onto the Stiefel manifold; the rows of $F X$ are orthogonal. We give both theoretical results and simulation results to show that, in the high dimensional case, the preconditioner helps to circumvent the stringent assumptions, improving the statistical performance of a broad class of model selection techniques in linear regression. Simulation results are particularly promising.

研究の動機と目的

• 高次元回帰におけるLassoの限界に対処すること。具体的には、設計行列の列間に高い相関がある場合にirrepresentable条件が満たされず、符号一貫性が失われる問題を解決すること。
• データ駆動型の前処理法を開発し、設計行列を変換することでirrepresentable条件を満たすようにすること。これにより、Lasso推定量の符号一貫性が回復されることを目的とする。
• 前処理が設計行列の構造に関する制限的な仮定への依存を低減することを示すこと。特に高次元領域（p >> n）において有効であることを目的とする。
• 弱い確率的行列仮定のもとで、前処理された設計行列が高確率でirrepresentable条件を満たすことを示す理論的バインディングを提供すること。
• 相関のある設計行列下で、標準Lassoと比較して改善されたモデル選択精度と一貫性を示す、実験的妥当性の検証を実施すること。

提案手法

• 設計行列Xを特異値が0または1に制限された新しい行列に変換する、新規の前処理行列Phys. Rev. Eを提案。これにより数値的安定性と改善された条件数が保証される。
• 前処理行列を設計行列Xと応答ベクトルYの両方に適用し、(X, Y)の代わりに変換されたペア(Phys. Rev. E X, Phys. Rev. E Y)に対してLassoを解く。
• n ≥ pの場合、前処理行列は変換された設計行列の列に直交性を誘導し、irrepresentable条件の満たされることを保証する。
• p ≥ nの場合、前処理行列は設計行列をStiefel多様体上に投影し、変換された行列の行に直交性をもたらす。
• 確率的行列理論と集中不等式を用いて、前処理された行列の列間最大相関に関する高確率バインディングを導出する。
• 和集合の不等式とカイ二乗分布・正規分布の尾部バインディングを用い、nがs² log pより速く増加する場合にirrepresentable条件が高確率で成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰において、元の設計行列がirrepresentable条件を満たさない場合でも、前処理を用いてLassoがこの条件を満たすことができるか？
• RQ2 設計行列にどのような条件が課わられると、前処理された行列が高確率でirrepresentable条件を満たすようになるか？
• RQ3 提案された前処理行列が、Lassoの統計的性能（符号一貫性およびモデル選択精度）にどのように影響を与えるか？
• RQ4 予測子の数pが標本サイズnを上回る場合でも、前処理法は有効に機能するか？
• RQ5 確率的行列仮定のもとで、前処理された設計行列がirrepresentable条件を満たす理論的確率はどの程度か？

主な発見

• 前処理行列Phys. Rev. Eは、変換された設計行列のすべての特異値が0または1に制限されることを保証し、数値的条件数の顕著な改善が得られる。
• n ≥ pの場合、前処理された設計行列は直交する列を有し、元の相関構造に関係なくirrepresentable条件が満たされることを保証する。
• p ≥ nの場合、前処理された設計行列は直交する行を有し、nとpにやや緩い条件のもとでirrepresentable条件が高確率で成立する。
• 独立同一分布の標準正規乱数を要素とする確率的設計行列に対して、nがs² log pより速く増加する場合、irrepresentable条件が確率1 - ½p(p−1)e⁻ⁿᶜ²/(16(2s−1)²) - 3p(p−1)e⁻ⁿ/¹⁶以上で成立する。
• 設計行列がStiefel多様体上に一様分布する場合、任意の2列間の最大相関がc/(2s−1)以下である確率は、少なくとも1 - 4p(p−1)e⁻ⁿ¹/²以上である。
• シミュレーション結果により、相関の高い設計行列下で、標準Lassoと比較して前処理Lassoが顕著に優れたモデル選択性能と符号一貫性を示すことが明らかになった。