[論文レビュー] The Trimmed Lasso: Sparsity and Robustness

Dimitris Bertsimas, Martin S. Copenhaver+1 more|arXiv (Cornell University)|Aug 15, 2017

Sparse and Compressive Sensing Techniques参考文献 62被引用数 13

ひとこと要約

本稿では、離散的パラメータkを用いてスパarsityを正確に制御できる非凸なスパース回帰手法、トリムド・ラッソを導入する。これにより、正確にk個の非ゼロ係数を選択することが可能になる。本手法はロバスト最適化および全最小二乗法と関連づけられ、標準的な座標方向分離型ペナルティよりも厳密に包含されることを示し、正確解とヒューリスティック解の両方を効率的に得るアルゴリズムを提供する。理論的・実験的性能の両面で優れた結果を示す。

ABSTRACT

Nonconvex penalty methods for sparse modeling in linear regression have been a topic of fervent interest in recent years. Herein, we study a family of nonconvex penalty functions that we call the trimmed Lasso and that offers exact control over the desired level of sparsity of estimators. We analyze its structural properties and in doing so show the following: 1) Drawing parallels between robust statistics and robust optimization, we show that the trimmed-Lasso-regularized least squares problem can be viewed as a generalized form of total least squares under a specific model of uncertainty. In contrast, this same model of uncertainty, viewed instead through a robust optimization lens, leads to the convex SLOPE (or OWL) penalty. 2) Further, in relating the trimmed Lasso to commonly used sparsity-inducing penalty functions, we provide a succinct characterization of the connection between trimmed-Lasso- like approaches and penalty functions that are coordinate-wise separable, showing that the trimmed penalties subsume existing coordinate-wise separable penalties, with strict containment in general. 3) Finally, we describe a variety of exact and heuristic algorithms, both existing and new, for trimmed Lasso regularized estimation problems. We include a comparison between the different approaches and an accompanying implementation of the algorithms.

研究の動機と目的

• 標準ラッソが間接的なスパarsity制御しか行えないのに対し、離散的パラメータkを用いて非ゼロ係数の個数を正確に制御できるスパース回帰手法の開発。
• トリムド・ラッソとロバスト最適化の間の理論的・アルゴリズム的関係を確立し、特に不確実性下での全最小二乗法と関連づけること。
• トリムド・ラッソペナルティが一般的に用いられる座標方向分離型ペナルティ（例：ラッソ、SCAD、MCP）を厳密に包含することを示し、より高いモデリングの柔軟性を提供すること。
• 計算複雑性の解析と実験的検証を伴う、トリムド・ラッソ問題を正確または近似的に解くための効率的な正確アルゴリズムとヒューリスティックアルゴリズムの設計・実装。

提案手法

• スパarsityを直接制御できるように、βの絶対値がp−k番目に小さい要素の和として定義されるトリムド・ラッソペナルティTk(β) = ∑_{i=k+1}^p |β_{(i)}|を提案。
• トリムド・ラッソ問題を min_β (1/2)‖y−Xβ‖²₂ + λTk(β) として再定式化し、十分に大きなλに対して、解が正確にk個の非ゼロ係数を持つ最良のサブセット選択（1）を回復することを示した。
• 同一の不確実性モデルがトリムド・ラッソ（非凸）とSLOPE/OWL（凸）ペナルティをもたらすことを示し、トリムド・ラッソとロバスト最適化の間に双対性を確立した。
• 活性集合法と最適性条件を活用し、トリムド・ラッソペナルティの部分微分可能集合が分離型ペナルティのそれよりも厳密に大きいという事実を応用した正確なアルゴリズムを提案。
• 正規直交設計の場合は、2段階最適化により閉形式解を導出：k個の絶対値が最大の成分を特定し、残りの成分をソフトスレッショーディングする。
• 一般の設計行列に対しては、交互最小化とADMMを用い、収束保証と各反復の計算複雑度がO(p log p + np)で抑えられることを示した。

実験結果

リサーチクエスチョン

• RQ1 非凸ペナルティを設計することで、正則化パラメータに依存せずにスパース回帰における非ゼロ係数の個数を正確に制御できるか？
• RQ2 構造的不確実性下で、トリムド・ラッソはロバスト最適化および全最小二乗法とどのように関連するか？
• RQ3 トリムド・ラッソは、ラッソ、SCAD、MCPなどの座標方向分離型ペナルティをどのように厳密に一般化するか？
• RQ4 計算複雑度が良好な条件下で、トリムド・ラッソ問題を正確または近似的に解くための効率的なアルゴリズムをどのように設計できるか？
• RQ5 実験的に、標準的なスパース手法と比較して、トリムド・ラッソはスパarsity、推定精度、ロバストネスの観点でどの程度優れているか？

主な発見

• トリムド・ラッソペナルティTk(β)は離散的パラメータkを用いてスパarsityを正確に制御可能であり、十分に大きなλに対して、(4)の解は正確に最良のサブセット選択解（1）を回復する。
• 特定の不確実性モデル下で、トリムド・ラッソ問題が全最小二乗法のロバスト最適化定式化と等価であることが示され、スパース回帰とロバスト最適化の間の新しい関係が確立された。
• トリムド・ラッソペナルティは、すべての座標方向分離型ペナルティ（例：ラッソ、MCP、SCAD）を厳密に包含しており、一般には部分微分可能集合の包含関係が厳密であることが示された（分離型ペナルティの部分微分可能集合に含まれない部分微分可能集合が存在することを示唆）。
• 活性集合法と最適性条件を活用した正確なアルゴリズムを提案し、1反復あたりO(p log p + np)の時間でトリムド・ラッソ問題を解ける。
• 正規直交設計の場合、閉形式解が導出された：γ∗_i = α_i（iがαの絶対値が最大のk個の成分に含まれる場合）、それ以外はγ∗_i = soft_{λ/σ}(α_i)、ここでsoftはソフトスレッショーディング作用素。
• 合成データ上の実験結果から、ADMMと交互最小化は信頼性高く収束し、100件のインスタンスで幾何平均の目的関数ギャップが最適解の1%未満に収束した。