[論文レビュー] Structured sparsity-inducing norms through submodular functions

Francis Bach|arXiv (Cornell University)|Aug 25, 2010

Stochastic Gradient Optimization Techniques参考文献 48被引用数 59

ひとこと要約

本稿では、非減少の単調な集合関数を用いた構造的スパarsity誘導正則化項の一般枠組みを提案する。その凸包がロヴァーズ拡張から得られることを示している。主な貢献は、包括的な理論的・アルゴリズム的枠組み—部分勾配、近接作用素、サポート回復条件を含む—を、重複グループノルムや新たな非因数分解型事前分布を含む広範な構造的ノルムクラスに統一的に適用することにある。

ABSTRACT

Sparse methods for supervised learning aim at finding good linear predictors from as few variables as possible, i.e., with small cardinality of their supports. This combinatorial selection problem is often turned into a convex optimization problem by replacing the cardinality function by its convex envelope (tightest convex lower bound), in this case the L1-norm. In this paper, we investigate more general set-functions than the cardinality, that may incorporate prior knowledge or structural constraints which are common in many applications: namely, we show that for nondecreasing submodular set-functions, the corresponding convex envelope can be obtained from its \lova extension, a common tool in submodular analysis. This defines a family of polyhedral norms, for which we provide generic algorithmic tools (subgradients and proximal operators) and theoretical results (conditions for support recovery or high-dimensional inference). By selecting specific submodular functions, we can give a new interpretation to known norms, such as those based on rank-statistics or grouped norms with potentially overlapping groups; we also define new norms, in particular ones that can be used as non-factorial priors for supervised learning.

研究の動機と目的

• カーディナリティに基づくスパarsityを越えた、構造的スパarsity誘導ノルムの一般枠組みの構築を目的とする。
• 単調な集合関数とスパース学習の凸最適化の間の理論的関係を確立することを目的とする。
• 広範な構造的ノルムクラスに適用可能な汎用的なアルゴリズム的ツール（部分勾配および近接作用素）を提供することを目的とする。
• 提案された枠組み下でのサポート回復および高次元推論に対する理論的保証を導出することを目的とする。
• 既存のノルム（例：重複グループノルム、ランクベースノルム）を統一的に再解釈し、教師付き学習における新たな非因数分解型事前分布を導入することを目的とする。

提案手法

• 非減少単調な集合関数のロヴァーズ拡張を活用し、集合関数ペナルティ $ F({\rm Supp}(w)) $ の凸包を構成することで、構造的スパarsityの凸緩和を可能にする。
• 得られたノルム $ \Omega(w) $ の近接作用素および部分勾配を導出することで、近接アルゴリズムによる効率的最適化を可能にする。
• 分解性 $ \Omega(w) = \Omega_J(w_J) + \Omega^J(w_{J^c}) $ を用いて、サポート回復および高次元一貫性を分析する。
• 制限固有値および適合性条件を適用し、推定誤差およびサポート回復の理論的境界を導出する。
• 双対ノルム $ \Omega^*(z) $ が単位球の極点を介して計算可能であることを示し、部分勾配の効率的計算を可能にする。
• 既知のノルム（例：グループ化ノルム、ランク統計）を単調なペナルティの特別なケースとして再解釈し、非因数分解型事前分布用の新たなノルムを構築する。

実験結果

リサーチクエスチョン

• RQ1 集合関数を用いて、カーディナリティを超えた構造的スパarsityをどのように定式化できるか？
• RQ2 非減少単調な集合関数 $ F({\rm Supp}(w)) $ の凸包は何か？ そして、それを効率的に計算する方法は？
• RQ3 このノルムクラスに汎用的なアルゴリズム的ツール（近接作用素、部分勾配）を導出可能か？
• RQ4 高次元設定下で最適化手順が真のサポートを回復する条件は何か？
• RQ5 性能および解釈可能性の観点から、提案されたノルムはグリーディー手法や既存の構造的ノルムと比べてどのように異なるか？

主な発見

• $ w \mapsto F({\rm Supp}(w)) $ の $ \ell_\infty $-球上での凸包は、$ F $ のロヴァーズ拡張によって与えられ、構造的スパarsityの凸緩和を可能にする。
• 得られたノルム $ \Omega(w) $ は、計算可能な部分勾配および近接作用素を持つ多面体ノルムであり、標準的な近接ソルバを用いた効率的最適化を可能にする。
• ノイズの双対ノルムが $ \Omega^*(q) \leq \lambda \rho(J)/2 $ を満たす場合、サポート回復が保証される。ここで $ \rho(J) $ は設計行列の適合性を制御する。
• 推定誤差は $ \Omega_J(\Delta_J) \leq \frac{6c(J)^2\lambda}{\kappa\rho(J)} $ で有界であり、ここで $ \kappa $ は制限固有値、$ c(J) $ はノルム適合性定数である。
• この枠組みは、重複グループラッソやランクベースペナルティといった既知のノルムを、単調ペナルティの特別なケースとして回復・再解釈する。
• 実験結果では、特にサポート回復および推定精度の観点で、グリーディー手法を上回る性能を示している。