[論文レビュー] The Lasso Problem and Uniqueness

Ryan J. Tibshirani|arXiv (Cornell University)|Jun 1, 2012

Statistical Methods and Inference参考文献 16被引用数 6

ひとこと要約

この論文は、標本サイズ n や予測変数の数 p にかかわらず、予測変数が連続分布から抽出される場合、lasso 解がほとんど確実に一意であることを確立している。この結果を一般の ℓ1-正則化問題に拡張し、非一意な場合に対応する修正版 LARS アルゴリズムを提供するとともに、係数の不確実性バインディングを計算するための線形計画法を提示し、高次元回帰における解釈性の鍵となる問題を解決している。

ABSTRACT

The lasso is a popular tool for sparse linear regression, especially for problems in which the number of variables p exceeds the number of observations n. But when p>n, the lasso criterion is not strictly convex, and hence it may not have a unique minimum. An important question is: when is the lasso solution well-defined (unique)? We review results from the literature, which show that if the predictor variables are drawn from a continuous probability distribution, then there is a unique lasso solution with probability one, regardless of the sizes of n and p. We also show that this result extends easily to $\ell_1$ penalized minimization problems over a wide range of loss functions. A second important question is: how can we deal with the case of non-uniqueness in lasso solutions? In light of the aforementioned result, this case really only arises when some of the predictor variables are discrete, or when some post-processing has been performed on continuous predictor measurements. Though we certainly cannot claim to provide a complete answer to such a broad question, we do present progress towards understanding some aspects of non-uniqueness. First, we extend the LARS algorithm for computing the lasso solution path to cover the non-unique case, so that this path algorithm works for any predictor matrix. Next, we derive a simple method for computing the component-wise uncertainty in lasso solutions of any given problem instance, based on linear programming. Finally, we review results from the literature on some of the unifying properties of lasso solutions, and also point out particular forms of solutions that have distinctive properties.

研究の動機と目的

• lasso 解が一意である条件を確立すること、特に p > n の高次元設定において。
• 非一意なlasso 解に起因する解釈性の懸念（符号の不一致や異なるアクティブ集合）を解消すること。
• 任意の予測変数行列に対して非一意なlasso 解を扱えるようにLARSアルゴリズムを拡張すること。
• 個々のlasso係数の不確実性バインディングを計算するための線形計画法ベースの手法を開発すること。
• 解ポリトープの面的構造を特徴づけ、lasso 解のすべての可能なアクティブ集合を列挙すること。

提案手法

• X が i.i.d. な連続的エントリを持つ場合、n や p の値に関わらず、lasso 解が確率1で一意であることを証明する。
• 一般の凸損失関数を伴う ℓ1-正則化最小化問題の広いクラスに、一意性の結果を拡張する。
• 解のパスが一意でない場合でも、等相関時における変数の導入・除去を許容することで、LARS アルゴリズムを非一意性に対応させるように修正する。
• すべての可能な解において個々のlasso係数の下限および上限を計算するための線形計画法の定式化を提案する。
• 等相関条件によって定義されるポリトープ K の面的構造を用いて、lasso 解のすべての可能なアクティブ集合を列挙する。
• 与えられた λ∗ の周囲で局所的解パスを計算するために、LARS パスアルゴリズムを前向き（λ を減少）および逆向き（λ を増加）の両方向に適用する。

実験結果

リサーチクエスチョン

• RQ1 lasso 解が一意であることが保証される条件は何か、特に p > n の場合に。
• RQ2 符号の不一致（ある解では正の係数、別の解では負の係数が同じ変数に割り当てられる）は、lasso 解で発生するか。
• RQ3 同じ λ で異なるlasso 解が、必ず同じアクティブ集合を持つとは限らないのか、それとも異なる非ゼロ係数集合を持つことがあるのか。
• RQ4 複数の解が存在する場合、個々のlasso係数の不確実性バインディングをどのように計算できるか。
• RQ5 与えられた問題インスタンスに対して、lasso 解のすべての可能なアクティブ集合を体系的に列挙することは可能か。

主な発見

• 予測変数行列 X のエントリが連続確率分布から抽出される場合、n や p の値に関わらず、lasso 解は確率1で一意である。
• 符号の不一致（ある解で正、別の解で負の係数が同じ変数に割り当てられる）は、lasso 解では発生しない。
• 同じ λ で異なるlasso 解が異なるアクティブ集合を持つことはあり得る。これは、サポート集合が異なる2つの解を示す反例によって裏付けられている。
• 等相関集合と結合／交差時を追跡することで、非一意な解が存在する場合でも、修正版LARSアルゴリズムがlasso解パスを計算できる。
• 個々のlasso係数の不確実性バインディングは線形計画法により計算可能であり、解の曖昧さを体系的に定量化する手法を提供する。
• lasso 解のすべての可能なアクティブ集合は、等相関条件によって定義されるポリトープ K の空でない面と一対一に対応し、アクティブ集合の体系的列挙が可能になる。