[論文レビュー] Structured Variable Selection with Sparsity-Inducing Norms

Rodolphe Jenatton, Jean-Yves Audibert+1 more|arXiv (Cornell University)|Apr 22, 2009

Sparse and Compressive Sensing Techniques参考文献 71被引用数 458

ひとこと要約

本稿では、重複するグループを許容することで、$ε_1$-ノルムおよびグループ$ε_1$-ノルムを拡張する構造的スパarsity誘導ノルムを導入し、線形モデルにおける複雑で事前知識に特化した非ゼロ係数パターンのモデリングを可能にする。主な貢献は、グループ構造と望ましいスパースパターンの間の明示的リンクを提供するフレームワークに加え、変数選択の理論的一貫性結果および高次元・低次元設定における有効なアクティブセットアルゴリズムの開発である。

ABSTRACT

We consider the empirical risk minimization problem for linear supervised learning, with regularization by structured sparsity-inducing norms. These are defined as sums of Euclidean norms on certain subsets of variables, extending the usual $\ell_1$-norm and the group $\ell_1$-norm by allowing the subsets to overlap. This leads to a specific set of allowed nonzero patterns for the solutions of such problems. We first explore the relationship between the groups defining the norm and the resulting nonzero patterns, providing both forward and backward algorithms to go back and forth from groups to patterns. This allows the design of norms adapted to specific prior knowledge expressed in terms of nonzero patterns. We also present an efficient active set algorithm, and analyze the consistency of variable selection for least-squares linear regression in low and high-dimensional settings.

研究の動機と目的

• 標準の$ε_1$-ノルム正則化が変数間の構造的関係を無視するという限界に対処すること。
• 重複するグループ構造を用いて、空間的、階層的、連続的構造などの複雑で事前知識に特化した非ゼロパターンを表現するスパarsity誘導ノルムの開発。
• ノルムを定義するグループ構造と、解における許容される非ゼロ係数パターンの集合との間の明示的リンクを確立すること。
• 得られる最適化問題を効率的に解くためのアクティブセットアルゴリズムの設計。
• 最小二乗回帰における、低次元および高次元設定の両方で変数選択の一貫性を分析すること。

提案手法

• 重複する変数の部分集合（グループ）におけるユークリッドノルムの和として定義される構造的ノルムを提案し、$ε_1$-ノルムおよびグループ$ε_1$-ノルムを一般化する。
• グループ構造から許容される非ゼロパターンへ、およびその逆へのマッピングを可能にする前向きおよび後向きのアルゴリズムを導入し、事前知識に基づいたノルム設計を可能にする。
• 反復的にアクティブな変数の集合を更新することで最適化問題を効率的に解くアクティブセットアルゴリズムを提案する。
• 部分微分可能計算を用いて最適性条件を導出し、解がノルムの部分微分の条件を満たすことを示す。
• 双対ノルム構造を用いて最適性条件を特徴付け、非交差なノルムの和の双対が個々の双対ノルムの最大値に一致することを活用する。
• 神経画像、顔認識、ゲノム解析などの実世界の問題にこのフレームワークを適用し、空間的・時間的・階層的といった構造的事前知識が性能と解釈可能性に不可欠であることを示す。

実験結果

リサーチクエスチョン

• RQ1 線形モデルにおける複雑で事前知識に特化した非ゼロパターン（例：空間的局在性、階層的関係）をエンコードするため、どのようにスパarsity誘導ノルムを設計できるか。
• RQ2 ノルムを定義するグループ構造と、解における許容される非ゼロ係数パターンの集合との間の正確な関係は何か。
• RQ3 得られる構造的スパarsity最適化問題を解くために、効率的なアクティブセットアルゴリズムを開発できるか。
• RQ4 構造的ノルムを用いた場合、低次元および高次元設定の両方で変数選択が一貫するための条件は何か。
• RQ5 ノルムにおける重複するグループが、スパースパターンおよび推定子の理論的性質にどのように影響を与えるか。

主な発見

• 重複するグループにおけるユークリッドノルムの和として定義される提案された構造的ノルムは、回帰解における非ゼロパターンに関する複雑な事前知識を明示的にエンコード可能である。
• グループ構造と許容される非ゼロパターンとの間のマッピングを可能にする前向きおよび後向きのアルゴリズムが確立され、特定の構造的事前知識に適合したノルム設計が可能になる。
• 反復的にアクティブな変数の集合を更新することで最適化問題を効率的に解くアクティブセットアルゴリズムが提案され、計算性能が向上する。
• 最小二乗回帰において、設計行列およびスパarsityに関する適切な条件下で、低次元および高次元の両設定で変数選択の一貫性が理論的に確立された。
• 双対ノルムの特徴付けにより、最適性条件が非交差なサポート上での各ノルムの双対ノルムの最大値を含むことが示され、部分微分の効率的計算が可能になる。
• 神経画像、顔認識、ゲノム解析における実証的検証により、非構造的$ε_1$-ノルムに比べて、構造的ノルムを用いることで性能と解釈可能性の両方が向上することが示された。