[論文レビュー] Stochastic Submodular Maximization: The Case of Coverage Functions

Mohammad Reza Karimi, Mario Lučić+2 more|arXiv (Cornell University)|Nov 5, 2017

Complexity and Algorithms in Graphs参考文献 23被引用数 12

ひとこと要約

本稿では、マトロイド制約下での重み付きカバレッジ関数の最大化を目的とした、確率的連続最適化フレームワークを提案する。多様な勾配上昇法を用いた多様な拡張関数への投影を活用し、(1−1/e)近似保証を有する。グリーディアルゴリズムに比べて1000倍以上の高速化を達成しながら、インフルエンス最大化および代表例クラスタリングタスクにおいてほぼ最適な性能を維持する。

ABSTRACT

Stochastic optimization of continuous objectives is at the heart of modern machine learning. However, many important problems are of discrete nature and often involve submodular objectives. We seek to unleash the power of stochastic continuous optimization, namely stochastic gradient descent and its variants, to such discrete problems. We first introduce the problem of stochastic submodular optimization, where one needs to optimize a submodular objective which is given as an expectation. Our model captures situations where the discrete objective arises as an empirical risk (e.g., in the case of exemplar-based clustering), or is given as an explicit stochastic model (e.g., in the case of influence maximization in social networks). By exploiting that common extensions act linearly on the class of submodular functions, we employ projected stochastic gradient ascent and its variants in the continuous domain, and perform rounding to obtain discrete solutions. We focus on the rich and widely used family of weighted coverage functions. We show that our approach yields solutions that are guaranteed to match the optimal approximation guarantees, while reducing the computational cost by several orders of magnitude, as we demonstrate empirically.

研究の動機と目的

• 確率的目的関数下でのサブモジュラ最大化における離散的グリーディアルゴリズムの計算非効率性を解消すること。
• 例えばソーシャルネットワークにおけるインフルエンスやクラスタリングにおける経験的リスクのように、確率的インスタンスの期待値として定義されるサブモジュラ目的関数のスケーラブルな最適化を可能にすること。
• 理論的近似保証を維持しつつ、確率的勾配法による高速化を実現する連続ドメインアプローチの開発。
• 実用的優位性を、速度と正確性の観点から、従来の離散的手法と比較して示すこと。

提案手法

• 重み付きカバレッジ関数の多様な拡張を用いて、離散的サブモジュラ問題を連続ドメインに昇格する。
• 独立同一分布のサンプルから得られる不偏勾配推定値を用い、多様な拡張関数の凹型緩和を最大化するための投影確率的勾配上昇法を適用する。
• Fenchel共役および双対共役を用いて双対定式化を導出し、最適解への収束を保証する。
• 近似品質の損失なしに、確率的ラウンドイングにより得られた分数解を丸める。これにより(1−1/e)近似保証が維持される。
• 収束を加速するために、Adam や AdaGrad などの適応的最適化アルゴリズムを統合する。
• 最適化中に反復をマトロイドポリトープに投影することで、マトロイド制約下での妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 確率的連続最適化技術は、確率的サブモジュラ最大化において、グリーディアルゴリズムと同等の近似保証を達成できるか？
• RQ2 多様な拡張関数上での確率的勾配上昇法の実行時間および解の品質は、グリーディアルゴリズムと比べてどうか？
• RQ3 マトロイド制約下での重み付きカバレッジ関数に対する、本手法の理論的近似保証は何か？
• RQ4 正確な目的関数評価が計算的に不可能な大規模問題に対して、このフレームワークは対応可能か？
• RQ5 グリーディアルゴリズムが初期決定で最適でない選択を下す場合（例えば、分割マトロイドを伴うインフルエンス最大化など）、本手法はグリーディアルゴリズムを上回るか？

主な発見

• 提案手法は、重み付きカバレッジ関数に対して期待値として(1−1/e)近似保証を達成し、多項式時間アルゴリズムにおける最高の理論的境界と一致する。
• 実験的結果から、グリーディアルゴリズムに比べて実行時間が最大1000倍短縮され、平均で1%未満の誤差を示した。
• グリーディアルゴリズムが早期に非最適なノードを選択するため失敗するケース（例：分割マトロイド制約下のインフルエンス最大化）においても、本手法は最適解を的確に特定できた。
• 多様な拡張関数上での確率的勾配上昇法は、効率的に収束し、実際にはAdamなどの適応的手法が収束を加速した。
• 正確な評価が不可能な大規模データセット上でも、理論的保証を維持しながらスケーラブルな最適化を可能にした。
• Fenchel共役解析により、多様な拡張関数の双対共役が元の関数を回復することが確認され、双対に基づくアプローチの有効性が裏付けられた。