[論文レビュー] Learning with Submodular Functions: A Convex Optimization Perspective

Francis Bach|arXiv (Cornell University)|Nov 28, 2011

Complexity and Algorithms in Graphs被引用数 12

ひとこと要約

この独著は、劣微分関数のための凸最適化フレームワークを提示し、劣微分性、多面体理論、連続最適化の間の密接な関係を確立する。劣微分関数の最小化が、凸最適化問題のクラスを解くことに等しいことを示し、機械学習分野への応用（構造的スパarsityや実験設計など）において、理論的保証付きの効率的アルゴリズムの利用を可能にする。

ABSTRACT

Submodular functions are relevant to machine learning for at least two reasons: (1) some problems may be expressed directly as the optimization of submodular functions and (2) the lovasz extension of submodular functions provides a useful set of regularization functions for supervised and unsupervised learning. In this monograph, we present the theory of submodular functions from a convex analysis perspective, presenting tight links between certain polyhedra, combinatorial optimization and convex optimization problems. In particular, we show how submodular function minimization is equivalent to solving a wide variety of convex optimization problems. This allows the derivation of new efficient algorithms for approximate and exact submodular function minimization with theoretical guarantees and good practical performance. By listing many examples of submodular functions, we review various applications to machine learning, such as clustering, experimental design, sensor placement, graphical model structure learning or subset selection, as well as a family of structured sparsity-inducing norms that can be derived and used from submodular functions.

研究の動機と目的

• 劣微分関数のための厳密な凸解析的基盤を確立し、組合せ最適化と連続最適化を橋渡しする。
• 劣微分関数の最小化が、広範な凸最適化問題のクラスを解くことに等しいことを示し、標準的な凸最適化ツールの使用を可能にする。
• 劣微分関数の最小化のための新しい効率的アルゴリズム（正確かつ近似）を導出し、理論的収束保証を付与する。
• ラヴェシュ拡張を教師ありおよび教師なし学習における正則化関数として用いる有効性を示す。
• 劣微分関数とその凸緩和を用いて、構造的スパarsity誘導ノルムを統一的かつ一般化する。

提案手法

• 離散的劣微分関数を連続的凸フレームワークに埋め込むためにラヴェシュ拡張を用い、凸最適化手法を可能にする。
• 楕円体法、条件付き勾配法、およびプロキシマル法などの古典的凸最適化アルゴリズムを、それらの凸拡張を通じて劣微分関数の最小化に適用する。
• 基本多面体と劣微分多面体を用いて、劣微分最適化問題の実行可能集合を特徴付ける。
• 集合関数の凸および凹な包絡線を用いて、組合せペナルティの凸緩和を導出する。
• モジュラー補正と単調化という操作を導入し、劣微分性を保ちつつ、既存の関数から新たな劣微分関数を構築可能にする。
• アクティブ集合法およびカットプレーン法を用いて、分離可能および二次的劣微分最適化問題を効率的に解く。

実験結果

リサーチクエスチョン

• RQ1 劣微分関数の最小化をどのように凸最適化問題に再定式化できるか？
• RQ2 ラヴェシュ拡張は、離散的劣微分関数と連続的凸関数を結ぶ役割を果たすか？
• RQ3 どの標準的凸最適化アルゴリズムが、理論的保証付きで劣微分関数の最小化問題を解くために適応可能か？
• RQ4 劣微分関数をどのようにして機械学習における構造的スパarsity誘導ノルムを定義するために用いるか？
• RQ5 劣微分関数から導かれる組合せペナルティの凸緩和とは何か？そして、それらが解の経路にどのように影響を与えるか？

主な発見

• 劣微分関数の最小化は、凸最適化問題のクラスを解くことに等しく、整備された凸最適化アルゴリズムの使用を可能にする。
• ラヴェシュ拡張は、組合せ的構造を捉える凸正則化関数を提供し、教師ありおよび教師なし学習への応用を可能にする。
• 最小ノルム点アルゴリズムおよび解析的中心カットプレーン法は、劣微分関数の最小化に対して多項式時間計算量を達成する。
• モジュラー補正および単調化の操作は劣微分性を保ち、既存の関数から新たな劣微分関数を構築可能にする。
• 劣微分ペナルティの凸緩和、例えば ℓq-緩和は、組合せ的スパarsity誘導ペナルティの連続的近似を提供する。
• 実験により、劣微分最小化および正則化最小二乗推定のための提案アルゴリズムが、理論的収束保証とともに競争力のある性能を示す。