[論文レビュー] Shaping Level Sets with Submodular Functions

Francis Bach|arXiv (Cornell University)|Dec 7, 2010

Statistical Methods and Inference参考文献 34被引用数 18

ひとこと要約

本稿では、対称な部分加法的関数とそのLovász拡張に基づく、予測子のサポートだけでなくレベル集合（等しい値を持つインデックスの集合）に対してもスパarsityを誘発する、新しい凸構造的正則化項のクラスを提案する。主な貢献は、理論的保証、最適化アルゴリズム（部分加法的関数最小化による近接作用素など）、およびクラスタリング、外れ値検出、変化点検出への応用を統合した統一フレームワークの確立である。

ABSTRACT

We consider a class of sparsity-inducing regularization terms based on submodular functions. While previous work has focused on non-decreasing functions, we explore symmetric submodular functions and their \\lova extensions. We show that the Lovasz extension may be seen as the convex envelope of a function that depends on level sets (i.e., the set of indices whose corresponding components of the underlying predictor are greater than a given constant): this leads to a class of convex structured regularization terms that impose prior knowledge on the level sets, and not only on the supports of the underlying predictors. We provide a unified set of optimization algorithms, such as proximal operators, and theoretical guarantees (allowed level sets and recovery conditions). By selecting specific submodular functions, we give a new interpretation to known norms, such as the total variation; we also define new norms, in particular ones that are based on order statistics with application to clustering and outlier detection, and on noisy cuts in graphs with application to change point detection in the presence of outliers.

研究の動機と目的

• 予測子のサポートだけでなくレベル集合に対しても構造的スパarsityを誘発する新しい凸正則化項の開発。
• 対称部分加法的関数とLovász拡張の間の理論的関係を、レベル集合に依存する関数の凸包として確立すること。
• 部分加法的関数最小化に基づく近接作用素による最適化の統一的アプローチを確立し、可能であれば効率的な計算を可能にする。
• ノイズ下でのレベル集合の復元保証を理論的に提示し、予測子間に相関がない場合でもレベル集合の復元が保証されないことを示す。
• 既知のノルム（例：全変動）の拡張および順序統計量とノイズのあるカットに基づく新たなノルムの定義を通じて、クラスタリングおよび変化点検出への応用を可能にする。

提案手法

• 入力ベクトル $ w $ のレベル集合に依存する関数の凸近似として、対称部分加法的関数のLovász拡張を用いる。
• 非定数のレベル集合をペナルティ化する凸正則化項を導出し、区分的定数解の促進を実現する。
• 部分加法的関数最小化（SFM）の逐次的適用により近接作用素を導出する。SFMが実行可能であれば、効率的な最適化が可能になる。
• 最適化および双対性条件を導出するために、基本ポリトープ表現 $ f(w) = \max_{s \in B(F)} w^\top s $ を用いる。
• クラスタリング／外れ値検出に適した順序統計量に基づく新しいノルムと、外れ値を伴う変化点検出に適したノイズのあるカットに基づくノルムを提案する。
• 集中不等式および確率的バインド（例：補題2）を用いて、ノイズ下での復元条件を導出する。特に $ F(A) = \min\{|A|/p, 1 - |A|/p\} $ の場合に注目する。

実験結果

リサーチクエスチョン

• RQ1 部分加法的関数を用いて、サポートだけでなくレベル集合に対してもスパarsityを誘発する凸正則化項を定義できるか？
• RQ2 対称部分加法的関数のLovász拡張は、入力ベクトル $ w $ のすべてのレベル集合に依存する関数の凸包としてどのように解釈できるか？
• RQ3 ノイズ下で、特に予測子間に相関がない場合に、レベル集合が回復可能となる理論的条件は何か？
• RQ4 このような正則化項に対して、効率的な最適化アルゴリズム（例：近接作用素）をどのように導出できるか？
• RQ5 特定の対称部分加法的関数（例：順序統計量やノイズのあるカットに基づくもの）を選択することで、どのような新しいノルムや応用が得られるか？

主な発見

• 対称部分加法的関数 $ F $ のLovásズ拡張は、入力ベクトル $ w $ のすべてのレベル集合に依存する関数の凸包であり、レベル集合正則化を可能にする。
• 1次元の全変動に対しては、$ \lambda \leq \frac{\nu}{8} \min_j |A_j| $ を満たす限り、ノイズ下でも高い確率でレベル集合の復元が達成され、成功確率の下界は $ 1 - 4p \exp\big(-\frac{\nu^2 \min_j |A_j|^2}{128\sigma^2 \max_j |A_j|^2}\big) $ である。
• 2次元の全変動では、無限小のノイズに対してもレベル集合の復元が保証されない。形状依存の感度により、正しいパターンが回復されない反例が存在する。
• 本フレームワークは、既知のノルム（全変動など）を再現するとともに、クラスタリングおよび外れ値検出に適した順序統計量に基づく新たなノルムを導入する。
• ノイズのあるカットに基づく部分加法的関数を用いることで、外れ値が存在する状況下での変化点検出が可能となり、スパースな汚染に対してロバストである。
• 理論的復元条件から、予測子間に相関がない場合でもレベル集合の復元が常に保証されないことが示され、従来のサポート復元とは明確な違いを示す。