[論文レビュー] Submodular Optimization with Submodular Cover and Submodular Knapsack Constraints

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|Nov 8, 2013

Complexity and Algorithms in Graphs参考文献 40被引用数 167

ひとこと要約

本稿は、部分的サブモジュラ関数の最小化（サブモジュラカバー制約付き）（SCSC）および部分的サブモジュラ関数の最大化（サブモジュラナップサック制約付き）（SCSK）という2つの制約付きサブモジュラ最適化問題を解くための新規フレームワークを提案する。スケーラブルな反復的アルゴリズム（例：Gr, ISSC, ISK）とより精確な近似アルゴリズム（例：EASSC, EASK）を導入し、有界な近似保証を達成するとともに、センサ配置やデータサブセット選択の応用を含む実世界のデータセットにおいて優れた実験的性能を示した。

ABSTRACT

We investigate two new optimization problems -- minimizing a submodular function subject to a submodular lower bound constraint (submodular cover) and maximizing a submodular function subject to a submodular upper bound constraint (submodular knapsack). We are motivated by a number of real-world applications in machine learning including sensor placement and data subset selection, which require maximizing a certain submodular function (like coverage or diversity) while simultaneously minimizing another (like cooperative cost). These problems are often posed as minimizing the difference between submodular functions [14, 35] which is in the worst case inapproximable. We show, however, that by phrasing these problems as constrained optimization, which is more natural for many applications, we achieve a number of bounded approximation guarantees. We also show that both these problems are closely related and an approximation algorithm solving one can be used to obtain an approximation guarantee for the other. We provide hardness results for both problems thus showing that our approximation factors are tight up to log-factors. Finally, we empirically demonstrate the performance and good scalability properties of our algorithms.

研究の動機と目的

• カバレッジを保証する最小化や予算制約下でのユーティリティ最大化といった、硬い制約の下でのサブモジュラ関数最適化の課題に対処する。
• 差分サブモジュラ（DS最適化）として定式化される従来のアプローチの限界を克服する。これは最悪ケースにおいて近似不能である。
• サブモジュラカバー問題とサブモジュラナップサック問題の両方に対して、有界な近似保証を提供する統一的で制約に基づくフレームワークを提供する。
• 反復的アルゴリズム（例：Gr, ISSC, ISK）が、より複雑だが理論的にタイトなアルゴリズム（例：EASSC, EASK）と比較して、実用的なスケーラビリティと有効性を示す。
• 提案された近似要因が対数的要因を除いてタイトであることを示す理論的ハードネス結果を確立する。

提案手法

• fとgが単調非減少のサブモジュラ関数であるとして、2つの新しい最適化問題を定式化する：SCSC（f(X)をg(X) ≥ cの制約下で最小化）とSCSK（g(X)をf(X) ≤ bの制約下で最大化）。
• それぞれの制約下でマージナルゲインが最大となる要素を段階的に選択することで、解を構築する反復的グリーディアルゴリズム（Gr, ISSC, ISK）を導入する。
• 楕円体近似と補助関数を用いたより洗練された近似アルゴリズム（EASSC, EASK）を提案し、理論的境界をタイトに保証する。
• SCSCとSCSKの双対性を活用し、一方の問題に対する近似アルゴリズムを他方の問題に適応して保証を得ることを示す。
• 曲率解析と補助関数の構築を用いて近似比を導出し、単調性と正規化の仮定の下で理論的保証を証明する。
• 実世界のインスタンス（例：センサ配置、データサブセット選択）に対してアルゴリズムを実装・評価し、ランダム選択やベースライン手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な差分サブモジュラ（DS）定式化が最悪ケースで近似不能であるにもかかわらず、サブモジュラカバーおよびサブモジュラナップサック制約付きのサブモジュラ最適化問題に対して、有界な近似保証を達成できるか？
• RQ2 実際の性能において、より複雑な近似アルゴリズム（例：EASSC, EASK）と比較して、反復的グリーディアルゴリズム（例：Gr, ISSC, ISK）の解の品質と実行時間はどのように異なるか？
• RQ3 提案されたアルゴリズムは、正確解や分枝限定法と比較して、大規模インスタンスに対してもどの程度スケーラブルか？
• RQ4 SCSCとSCSKの双対性は、一方の問題に特化したアルゴリズムを他方の問題に適用して近似保証を得るために活用可能か？
• RQ5 センサ配置や自然言語処理・音声認識における限定的語彙データサブセット選択といった機械学習の実世界応用において、提案されたアルゴリズムの実効性はどの程度か？

主な発見

• 提案された反復的アルゴリズム（Gr, ISSC, ISK）は、理論的境界がゆるいにもかかわらず、実際の性能においてEASSCやEASKと同等の解の品質を達成した。
• |V| = 50の実世界インスタンスでは、反復的アルゴリズムは1秒未塔で実行されたが、楕円体近似（EASSC）は約5時間かかった。これは顕著なスケーラビリティの優位性を示している。
• すべての提案されたアルゴリズムは、テストされたデータセット全体で、ランダム選択ベースラインと比較して解の品質と制約満たしの両面で顕著に優れていた。
• 理論的解析により、SCSCおよびSCSKの両方の近似要因が、標準的仮定下で対数的要因を除いてタイトであることが示された。これは、境界の最適性が確認されたことを意味する。
• このフレームワークは、従来の問題（サブモジュラスパンやモジュラー制約付きサブモジュラナップサック）を包括・一般化し、より強い理論的保証を提供した。
• 実験的結果により、アルゴリズムがセンサ配置や自然言語処理・音声認識分野における限定的語彙データサブセット選択といった実世界応用において有効であることが確認された。