[論文レビュー] The Accessible Lasso Models

Amir Sepehri, Naftali Harris|arXiv (Cornell University)|Jan 12, 2015

Statistical Methods and Inference参考文献 12被引用数 3

ひとこと要約

本稿は、ある応答ベクトル y に対してlassoが選択可能な符号付き係数構成（符号付きモデル）の集合——つまり、アクセス可能なlassoモデル——を幾何学的に特徴づける。その特徴は、設計行列 X とその負行列の凸包の面に対応することを示している。主な結果は、真のモデルサイズが観測数の半分を超える場合、正則化パrameter λ にかかわらず、モデル選択の不一致が生じることを直接的な幾何学的証明によって示したことである。

ABSTRACT

A new line of research on the lasso exploits the beautiful geometric fact that the lasso fit is the residual from projecting the response vector $y$ onto a certain convex polytope. This geometric picture also allows an exact geometric description of the set of accessible lasso models for a given design matrix, that is, which configurations of the signs of the coefficients it is possible to realize with some choice of $y$. In particular, the accessible lasso models are those that correspond to a face of the convex hull of all the feature vectors together with their negations. This convex hull representation then permits the enumeration and bounding of the number of accessible lasso models, which in turn provides a direct proof of model selection inconsistency when the size of the true model is greater than half the number of observations.

研究の動機と目的

• 与えられた設計行列に対して、lassoが選択可能な符号付きモデル（サポートと符号の配置）を特徴づけること。
• アクセス可能なlassoモデルと設計行列とその負行列の凸包の面との間に幾何的対応関係を確立すること。
• 特に上限定理を用いて、多面体の組合せ論を用いてアクセス可能なlassoモデルの数を上限づけること。
• 真のモデルサイズが観測数の半分を超える場合に、直接的な幾何学的証明によりモデル選択の不一致を示すこと。
• モデル選択の不一致が、正則化パrameter λ の選択とは無関係に、設計行列の幾何的性質に起因することを示すこと。

提案手法

• X = [X₀, -X₀] と β = (β₀⁺, β₀⁻) を用いた非負のパrameter化により、lassoの最適化問題を再定式化し、各ペアのうち最大で1つしか非ゼロでないことを保証する。
• A_S = {y : supp(β(y)) = S} が空でないようなモデル S をアクセス可能なモデル A_S と定義し、応答空間内の領域に対応させる。
• KKT条件を用いて、nullモデルの多面体 A_∅ が凸包 CH(X) の極双対であることを示し、幾何的解析を可能にする。
• 各アクセス可能な符号付きモデル S が CH(X) の面 F_S に対応し、A_S が F_S と X_S によって生成される錐の相対的内部であることを確立する。
• 凸多面体理論の上限定理を適用し、CH(X) の各次元の面の数を上限づけることにより、アクセス可能なモデルの数を上限づける。
• 真のモデルサイズ k が n/2 を超過する場合、k 個の符号付きモデルの可能な組み合わせ数よりアクセス可能なモデル数が厳密に少ないことにより、モデル選択の不一致を導出する。

実験結果

リサーチクエスチョン

• RQ1 与えられた設計行列 X に対して、lassoが選択可能な符号付きモデルはどれか？
• RQ2 lassoがアクセス可能な異なる符号付きモデルの数はいくつで、それは設計行列にどのように依存するか？
• RQ3 真のモデルサイズが観測数の半分を超えると、なぜモデル選択が不一致になるのか？
• RQ4 正則化パrameter λ の選択がアクセス可能なモデルの集合に影響を与えるか？
• RQ5 設計行列 X と -X の凸包の幾何的構造は、lassoのモデル選択行動を完全に特徴づけられるか？

主な発見

• アクセス可能なlassoモデルの集合は、設計行列 X とその負行列の凸包 CH(X) の面に正確に対応する。
• サイズ k のアクセス可能なモデルの数は、凸多面体の上限定理により上界づけられ、CH(X) の k 次元面の数に制限される。
• 真のモデルサイズ k が n/2 を超過する場合、アクセス可能なモデル数は、サイズ k の可能な符号付きモデル数より厳密に少ないため、真のモデルの選択は高確率で不可能である。
• モデル選択の不一致は λ の選択によるものではなく、設計行列の幾何的性質に起因するものであり、すべての λ > 0 に対して成り立つ。
• シミュレーションにより、k ≈ n/2 の場合、lassoの性能が著しく低下し、選択誤差が急激に増加することが確認され、理論的上限と整合的である。
• 相関設計行列に対しても、相関が高くなるにつれ選択誤差はわずかに増加するが、核心的な不一致結果は依然として頑健である。