[論文レビュー] Algorithms for Fitting the Constrained Lasso

Brian R. Gaines, Hua Zhou|arXiv (Cornell University)|Oct 28, 2016

Statistical Methods and Inference参考文献 27被引用数 8

ひとこと要約

本稿では、事前知識を組み込むために線形等式および不等式制約を追加したlassoの拡張形、制約付きlasso問題を解くための効率的なアルゴリズムを提案し、その比較を行う。新規の解パスアルゴリズムを導入し、ADMMと二次計画法を用いる。シミュレーションおよび実データを用いた実験により、特に高次元設定下で、パスアルゴリズムが優れた効率性と正確性を示すことが明らかになった。また、一般化lassoは制約付きlassoに変換可能であるが、逆は成り立たないことを示した。

ABSTRACT

We compare alternative computing strategies for solving the constrained lasso problem. As its name suggests, the constrained lasso extends the widely-used lasso to handle linear constraints, which allow the user to incorporate prior information into the model. In addition to quadratic programming, we employ the alternating direction method of multipliers (ADMM) and also derive an efficient solution path algorithm. Through both simulations and real data examples, we compare the different algorithms and provide practical recommendations in terms of efficiency and accuracy for various sizes of data. We also show that, for an arbitrary penalty matrix, the generalized lasso can be transformed to a constrained lasso, while the converse is not true. Thus, our methods can also be used for estimating a generalized lasso, which has wide-ranging applications. Code for implementing the algorithms is freely available in the Matlab toolbox SparseReg.

研究の動機と目的

• 線形制約を伴う制約付きlasso問題を解くための効率的な計算戦略の開発と比較。
• データサイズ、効率性、正確性に基づいたアルゴリズム選択に関する実用的提言の提供。
• 変数分割を回避し、計算効率を維持する新しい解パスアルゴリズムの導出。
• 一般化lassoが制約付きlassoに変換可能であるが、逆は成り立たないことを示し、適用範囲を拡大。
• アルゴリズムをSparseReg MATLABツールボックスに実装・公開し、研究コミュニティでの再現性と広範な利用を促進。

提案手法

• 調整パrameter ρを減少させながら係数のアクティブセットを追跡する解パスアルゴリズムを提案。サブ勾配条件が違反された際にアクティブセットを更新する。
• 制約付きlasso問題を解くために、制約と正則化を効率的に処理できる点を活かした、交替方向乗数法（ADMM）を用いる。
• 基準手法として二次計画法を採用。標準的な凸最適化ソルバを用いて制約付き最適化問題を直接解く。
• 非アクティブな係数が再活性化される条件を導出し、特に s_j · d/dρ[ρs_j] < 1 のときサブ勾配違反を防ぐ。
• QR分解を用いて制約付きlassoを等価な形に変換し、制約を保持したまま効率的な計算を可能にする。
• 高次元設定（n < p）に適応したパスアルゴリズムの改良を行い、先行研究（He, 2011）に欠けていた点を補完。

実験結果

リサーチクエスチョン

• RQ1 データサイズに応じて、解パス、ADMM、二次計画法のうち、どのアルゴリズムが制約付きlasso問題において速度と正確性のバランスが最良か？
• RQ2 解パスアルゴリズムは、n < p となる高次元設定に効率的に適応可能か？
• RQ3 パスフォローフェーズ中にサブ勾配条件が違反する条件は何か？ その違反はどのように検出され、是正されるか？
• RQ4 一般化lasso問題は制約付きlassoに還元可能か？ その場合、アルゴリズムの再利用にどのような意味があるか？
• RQ5 単調性や非負性といった線形制約は、解パスアルゴリズムの性能と安定性にどのように影響を与えるか？

主な発見

• 提案された解パスアルゴリズムは、ADMM や二次計画法よりも計算効率に優れ、特に大規模問題において顕著である。
• 高い正確性を維持し、適切にアクティブセットを特定しており、サブ勾長違反は s_j · d/dρ[ρs_j] < 1 の条件下で検出・是正されている。
• 一般化lassoは制約付きlasso問題に変換可能であるが、逆は成り立たないため、制約付きlassoはより包括的なフレームワークである。
• パスアルゴリズムは高次元設定（n < p）に成功裏に適応され、He (2011) らの先行研究に欠けていた能力を補完した。
• 単調な気温上昇トレンドや正のlassoの応用例を含む、シミュレーションおよび実データ例により、提案手法のロバスト性と実用的有用性が検証された。
• 実装はSparseReg MATLABツールボックスに公開され、研究コミュニティにおける再現性と広範な採用を可能にした。