[論文レビュー] Algorithms for Approximate Minimization of the Difference Between Submodular Functions, with Applications

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|Jul 3, 2012

Complexity and Algorithms in Graphs参考文献 35被引用数 73

ひとこと要約

この論文は、特徴選択やセンサ配置などの機械学習応用に関連する、2つのサブモジュラ関数の差を最小化するための効率的なアルゴリズムを提案する。著者らは、最新の手法と同等の性能を達成しながら、収束が速く、理論的保証と組み合わせ制約下でのスケーラビリティを維持する、新しいモジュラー・モジュラー近似法を導入する。

ABSTRACT

We extend the work of Narasimhan and Bilmes [30] for minimizing set functions representable as a dierence between submodular functions. Similar to [30], our new algorithms are guaranteed to monotonically reduce the objective function at every step. We empirically and theoretically show that the per-iteration cost of our algorithms is much less than [30], and our algorithms can be used to efficiently minimize a dierence between submodular functions under various combinatorial constraints, a problem not previously addressed. We provide computational bounds and a hardness result on the multiplicative inapproximability of minimizing the dierence between submodular functions. We show, however, that it is possible to give worst-case additive bounds by providing a polynomial time computable lower-bound on the minima. Finally we show how a number of machine learning problems can be modeled as minimizing the dierence between submodular functions. We experimentally show the validity of our algorithms by testing them on the problem of feature selection with submodular cost features.

研究の動機と目的

• 組み合わせ制約下で、これまで未解決であった2つのサブモジュラ関数の差を最小化するための、より高速でスケーラブルなアルゴリズムの開発。
• 提案されたアルゴリズムの収束と近似バウンドに関する理論的保証の提供。
• 特徴選択にサブモジュラコストを適用するなど、機械学習応用における手法の実用的有用性の実証。
• 実行時間の面で既存のヒューリスティクスを上回るが、解の品質を維持または向上させる提案アルゴリズムの性能の確認。
• 最小値の多項式時間で計算可能な下界を確立し、最悪ケースの加法的近似保証を可能にする。

提案手法

• 論文は、サブモジュラ関数の差のモジュラー近似に基づく、新しいアルゴリズムフレームワークを導入し、特にサブモジュラ関数の差に対するモジュラー・モジュラー（ModMod）緩和を用いる。
• 各反復で目的関数を単調に減少させるグリーディー降下戦略を採用し、収束を保証する。
• Lovász拡張と部分勾配計算を活用して、サブモジュラ関数の差を効率的に近似する。
• 制約付き最適化技術を用いて、基数制約やナップサック制約などのさまざまな組み合わせ制約を処理する。
• 各反復の高速計算を可能にするために、サブモジュラ関数を近似するモジュラー準勾配を計算する。
• 理論的分析には、乗法的近似の不可能性に関するハードネス結果と、最小値の多項式時間で計算可能な下界を用いた加法的近似バウンドの証明が含まれる。

実験結果

リサーチクエスチョン

• RQ1 先行研究と比較して、2つのサブモジュラ関数の差を最小化するためのより高速でスケーラブルなアルゴリズムを設計することは可能か？
• RQ2 このような最小化問題において、収束と近似品質に関する理論的保証を達成することは可能か？
• RQ3 提案されたアルゴリズムは、実世界の機械学習問題（例：サブモジュラコストを伴う特徴選択）において、実際の性能をどのように発揮するか？
• RQ4 提案手法は、基数制約やナップサック制約などの組み合わせ制約を処理するために拡張可能か？
• RQ5 サブモジュラ差の最小化の文脈において、解の品質と計算効率のトレードオフはどのようなものか？

主な発見

• 提案されたModModアルゴリズムは、一般のサブモジュラ最小化に依存するSubSup手順と比較して100倍速く、同等の性能を達成する。
• ModModおよびSupSub手順は、コストがサブモジュラである場合に特に顕著に、グリーディー法（GrF）を大きく上回る性能を示す。
• マッシュルームデータセットでは、ModModおよびSupSub手法がGrFを上回る精度を達成しており、特にナイーブベイズ仮定が成り立たないSVM分類において顕著である。
• Adultデータセットでは、すべての提案アルゴリズムがグリーディー基準を上回り、ModModはその単純さと高速性にもかかわらず、強力な性能を示した。
• 理論的分析により、乗法的近似は不可能であることが確認されたが、最小値の多項式時間で計算可能な下界を用いることで、加法的バウンドは達成可能である。
• 結果から、特徴選択をサブモジュラ関数の差としてモデル化することで、目的関数自体のサブモジュラリティを仮定するのと比較して、より良い結果が得られることを検証した。特に、相関する特徴や非モジュラーコストの下で顕著である。