[論文レビュー] Convex Relaxation for Combinatorial Penalties

Guillaume Obozinski, Francis Bach|arXiv (Cornell University)|May 6, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用数 39

ひとこと要約

本稿では、変数のサポートに関する事前知識に基づく組合せ的ペナルティと、係数の大きさを制御するℓpノルム正則化を統合する包括的な凸緩和フレームワークを提案する。主な貢献は、緩和のタイトネスを特徴付ける「下位組合せ的包絡線」であり、これによりラティントグループLasso やエクclsive Lasso などの構造的スパarsityノルムの回復が可能になる。

ABSTRACT

In this paper, we propose an unifying view of several recently proposed structured sparsity-inducing norms. We consider the situation of a model simultaneously (a) penalized by a set- function de ned on the support of the unknown parameter vector which represents prior knowledge on supports, and (b) regularized in Lp-norm. We show that the natural combinatorial optimization problems obtained may be relaxed into convex optimization problems and introduce a notion, the lower combinatorial envelope of a set-function, that characterizes the tightness of our relaxations. We moreover establish links with norms based on latent representations including the latent group Lasso and block-coding, and with norms obtained from submodular functions.

研究の動機と目的

• 最近の構造的スパarsity誘導ノルムを、サポートに関する組合せ的ペナルティとℓpノルム正則化を組み合わせることで統一すること。
• 元のペナルティの主な構造的性質を保ちながら、組合せ最適化問題の凸緩和を構築すること。
• 集合関数の下位組合せ的包絡線という新しい概念を用いて、緩和のタイトネスを特徴付けること。
• 提案されたフレームワークと、ラティントグループLasso、ブロック符号化、および単調関数ペナルティなどの既存ノルムとの関係を確立すること。
• 特に単調関数の場合に、効率的な最適化と一貫性解析の理論的・アルゴリズム的基盤を提供すること。

提案手法

• F がサポートに関する事前知識を符号化する集合関数であるとき、組み合わせペナルティを μF(Supp(w)) + ν‖w‖_p^p として定義する。
• 集合関数 F の下位組合せ的包絡線を、単位ℓ∞-球上で F を上から支配するすべての凸関数の点ごとの下界として定義する。
• 組合せペナルティの凸緩和を、下位組合せ的包絡線のフェンヒェル双対として定式化する。
• 得られたノルムが、ℓp正則化と組み合わせた場合に、元の組合せペナルティの最もタイトな凸緩和であることを示す。
• ブロック構造的サポートの場合に、提案された緩和がラティントグループLasso と等価であることを確立する。
• 単調関数の場合に、フェンヒェル双対性と単調関数の性質を活用して、効率的なアルゴリズムと一貫性結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 変数のサポートに関する組合せ的ペナルティを、構造的性質を保ちながらどのように凸的に緩和できるか？
• RQ2 組み合わせペナルティとℓpノルムを組み合わせた場合の、最もタイトな凸緩和は何か？
• RQ3 提案されたフレームワークは、ラティントグループLasso やエクclsive Lasso などの既存の構造的スパarsityノルムとどのように関係しているか？
• RQ4 集合関数 F にどのような条件（例：単調性）が課されると、効率的な最適化と一貫性が保証されるか？
• RQ5 F に組み込まれた異なる事前仮定が、ハミング距離とℓ2誤差の観点での推定性能に与える影響は何か？

主な発見

• 提案された凸緩和フレームワークは、ℓ1、ℓ1/ℓp、ℓp/ℓ1 などの古典的ノルムを特別なケースとして回復する。
• ブロック符号化ペナルティの最適な凸緩和がラティントグループLasso であることが示され、2つの主要な構造的スパarsityフレームワークの原理的関係が確立される。
• 単調関数の場合、フェンヒェル双対性を活用して効率的な最適化が可能となり、理論的一致性保証が得られる。
• 実験では、真の信号がそのサポート上で定数である場合、ℓ∞-ベースの緩和（Ω∞^F）が他の手法よりもハミング距離で優れることが示され、係数のクラスタリングに起因する。
• 非定数信号の状態では、ℓ1正則化がより低い最小二乗誤差を示す傾向があることから、事前仮定と推定精度のトレードオフが明らかになる。
• 下位組合せ的包絡線は、緩和のタイトネスを特徴付け、組合せ的ペナルティの凸緩和分析における主要な理論的ツールである。