[論文レビュー] Regularizers for Structured Sparsity

Charles A. Micchelli, Jean M. Morales+1 more|arXiv (Cornell University)|Oct 4, 2010

Sparse and Compressive Sensing Techniques参考文献 24被引用数 6

ひとこと要約

この論文は、回帰係数のスパarsityパターンに関する事前知識を組み込むことで、線形回帰における構造的スパarsityを強制する凸ペナルティ関数の族を導入する。この手法は、ℓ₁ノルムと凸集合Λとのインフィミナルコントリビューションに基づくペナルティ関数を用い、構造的スパarsityが存在する際のLassoよりも効率的な最適化と高い推定精度を実現する。

ABSTRACT

We study the problem of learning a sparse linear regression vector under additional conditions on the structure of its sparsity pattern. This problem is relevant in machine learning, statistics and signal processing. It is well known that a linear regression can benefit from knowledge that the underlying regression vector is sparse. The combinatorial problem of selecting the nonzero components of this vector can be "relaxed" by regularizing the squared error with a convex penalty function like the $\ell_1$ norm. However, in many applications, additional conditions on the structure of the regression vector and its sparsity pattern are available. Incorporating this information into the learning method may lead to a significant decrease of the estimation error. In this paper, we present a family of convex penalty functions, which encode prior knowledge on the structure of the vector formed by the absolute values of the regression coefficients. This family subsumes the $\ell_1$ norm and is flexible enough to include different models of sparsity patterns, which are of practical and theoretical importance. We establish the basic properties of these penalty functions and discuss some examples where they can be computed explicitly. Moreover, we present a convergent optimization algorithm for solving regularized least squares with these penalty functions. Numerical simulations highlight the benefit of structured sparsity and the advantage offered by our approach over the Lasso method and other related methods.

研究の動機と目的

• 高次元回帰における標準Lassoの構造的スパarsityパターン処理の限界を解消すること。
• 非ゼロ回帰係数の構造に関する事前知識を符号化する凸的で取り扱いやすい正則化フレームワークを構築すること。
• 構造的スパarsityを効率的に最適化しつつ、スパarsityパターン選択に関する理論的保証を維持すること。
• 構造的スパarsityが存在する際、標準LassoやグループLassoと比較して推定誤差が低減することを示すこと。

提案手法

• 回帰係数|β|の構造に関する事前知識を符号化するため、ℓ₁ノルムと凸集合Λとのインフィミナルコントリビューションに基づくペナルティ関数Ω(β|Λ)を提案する。
• ペナルティはΩ(β|Λ) = inf{½∑(βᵢ²/λᵢ + λᵢ) : λ ∈ Λ}として定式化され、ℓ₁ノルムを一般化し、構造的スパarsityを促進する。
• 収束が保証されるため、コンact性および強い凸性の仮定の下で、正則化最小二乗問題を解くための交互最適化アルゴリズムを用いる。
• 最適なλ(β)を介してΩ(β|Λ)の偏導関数を導出し、勾配ベースの最適化を可能にする。
• |β| ∈ ΛのときΩ(β|Λ)はℓ₁ノルムに等しくなり、それ以外ではそれを上回ることから、構造的スパarsityを好む。
• 単調性やグループベースのパターンを含む多様な構造的スパarsityモデルにこの手法を適用し、特定のケースでの明示的計算を実施する。

実験結果

リサーチクエスチョン

• RQ1 回帰係数の任意の構造的スパarsityパターンを符号化できる凸ペナルティ関数を設計できるか？
• RQ2 非ゼロ係数の形状やグループ化に関する事前知識を、凸最適化フレームワークにどのように組み込むことができるか？
• RQ3 構造的スパarsityが存在する際、提案手法がLassoやグループLassoよりも高い推定精度を達成するか？
• RQ4 提案されたペナルティ関数の理論的性質は何か？また、どのように効率的に最適化できるか？
• RQ5 交互最適化アルゴリズムが、どのような条件下で一意のグローバル最小値に収束するか？

主な発見

• 提案されたペナルティ関数Ω(β|Λ)はℓ₁ノルムを一般化し、|β|が所定の凸集合Λに属するような回帰ベクトルβを好むことで、構造的スパarsityを強制する。
• |β| ∈ Λのとき、ペナルティΩ(β|Λ)は正確にℓ₁ノルムに還元され、Lassoのスパarsity促進特性を保つ。
• ペナルティ関数は凸であり、ほとんど至るところ連続的微分可能であるため、勾配ベースの最適化手法による効率的な最適化が可能である。
• 数値シミュレーションでは、構造的スパarsity設定において、LassoやグループLassoよりも低い推定誤差を達成している。
• コンパクト性および強い凸性の弱い条件下でも、交互アルゴリズムは一意のグローバル最小値に収束する。
• この手法は、補助変数λから回帰ベクトルβへのスパarsity構造の転送に成功し、解が望ましいスパarsityパターンを満たすことを保証する。