[論文レビュー] The Group Square-Root Lasso: Theoretical Properties and Fast Algorithms

Florentina Bunea, Johannes Lederer+1 more|arXiv (Cornell University)|Feb 1, 2013

Statistical Methods and Inference参考文献 27被引用数 8

ひとこと要約

本稿では、グループ・ラッソ型の罰則を伴う残差平方和の平方根を最小化する高次元スパース回帰手法、Group Square-Root Lasso (GSRL) を導入する。従来のグループ・ラッソとは異なり、GSRLのチューニングパラメータはノイズ分散に依存しないため、ノイズレベルの推定を必要とせず、最適な推定および予測精度を達成できる。また、最小限の条件下でも収束性およびパターン回復性を維持する。

ABSTRACT

We introduce and study the Group Square-Root Lasso (GSRL) method for estimation in high dimensional sparse regression models with group structure. The new estimator minimizes the square root of the residual sum of squares plus a penalty term proportional to the sum of the Euclidean norms of groups of the regression parameter vector. The net advantage of the method over the existing Group Lasso (GL)-type procedures consists in the form of the proportionality factor used in the penalty term, which for GSRL is independent of the variance of the error terms. This is of crucial importance in models with more parameters than the sample size, when estimating the variance of the noise becomes as difficult as the original problem. We show that the GSRL estimator adapts to the unknown sparsity of the regression vector, and has the same optimal estimation and prediction accuracy as the GL estimators, under the same minimal conditions on the model. This extends the results recently established for the Square-Root Lasso, for sparse regression without group structure. Moreover, as a new type of result for Square-Root Lasso methods, with or without groups, we study correct pattern recovery, and show that it can be achieved under conditions similar to those needed by the Lasso or Group-Lasso-type methods, but with a simplified tuning strategy. We implement our method via a new algorithm, with proved convergence properties, which, unlike existing methods, scales well with the dimension of the problem. Our simulation studies support strongly our theoretical findings.

研究の動機と目的

• ノイズ分散が不明または推定が困難な状況における高次元グループスパース回帰におけるチューニングパラメータ選択の課題に対処すること。
• 誤差分散の知識が不要であるにもかかわらず、グループ・ラッソと同等の最適な推定および予測精度を達成する手法を開発すること。
• 最小限の仮定のもとで正しいグループパターン回復の理論的保証を確立すること。
• 大規模問題に対して収束が保証された高速かつスケーラブルな最適化アルゴリズムを設計すること。

提案手法

• GSRL推定量は、残差平方和の平方根に加え、回帰係数のグループごとのL2ノルムの和に比例する罰則項を加えたものである。
• 罰則係数はノイズ分散に依存しないため、ノイズレベルが不明または誤って指定された場合でも、頑健な性能を発揮する。
• 非拡大作用素の枠組みに基づき、収束を保証するための補助関数を用いた新しい反復アルゴリズムを提案する。
• アルゴリズムは各グループごとにしきい値処理を行うステップを含み、これは現在の残差ノルムに依存するグループしきい値作用素で定義される。
• 非拡大作用素のOpialの条件を用いて収束を証明し、漸近的正則性および固定点へのグローバル収束を示した。
• 数値的安定性および高次元におけるスケーラビリティを向上させるために、スケーリング操作を導入した。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分散の知識がなくても、最適な推定および予測精度を達成できるグループスパース回帰手法を開発できるか？
• RQ2 提案されたGSRL推定量は、最小限のモデル仮定のもとで、グループ・ラッソと同等の理論的性能保証を維持するか？
• RQ3 標準のラッソやグループ・ラッソと比較して、簡素化されたチューニング戦略で正しいグループパターン回復が達成できるか？
• RQ4 高次元設定において信頼性高く収束する、スケーラブルなGSRLの最適化アルゴリズムは存在するか？

主な発見

• ノイズ分散が不明であっても、GSRL推定量は同じ最小限の条件下で、グループ・ラッソと同等の最適な推定および予測誤差率を達成する。
• ノイズレベルに依存しない簡素化されたチューニング戦略のもとで、ラッソやグループ・ラッソと同程度の条件で正しいグループパターン回復が可能である。
• 提案されたアルゴリズムは、KKT条件を満たす解にグローバルに収束し、漸近的正則性および有界な反復列が保証された。
• 次元数の増加に対してもスケーリングが良く、高次元問題において既存手法を上回る計算効率を示した。
• シミュレーション研究により、理論的予測に対する強い実証的裏付けが得られ、ノイズ分散が不明であっても頑健で、正確なグループ選択が可能であることが確認された。