[論文レビュー] Non-monotone Submodular Maximization in Exponentially Fewer Iterations

Eric Balkanski, Adam Breuer+1 more|ArXiv.org|Jul 30, 2018

Complexity and Algorithms in Graphs被引用数 18

ひとこと要約

この論文は、基数制約下での非単調なサブモジュラ最大化のための新規アルゴリズムBlitsを紹介する。Blitsは、$ ilde{O}( ight)$の適応ラウンドで$1/2e$に限りなく近い近似比を達成する。激しい pruning の後、低確率の要素ブロックを繰り返し追加することで、従来手法に比べて並列実行時間において指数的スピードアップを達成しながら、競争力のある実験的性能を維持する。

ABSTRACT

In this paper we consider parallelization for applications whose objective can be expressed as maximizing a non-monotone submodular function under a cardinality constraint. Our main result is an algorithm whose approximation is arbitrarily close to $1/2e$ in $O(\log^2 n)$ adaptive rounds, where $n$ is the size of the ground set. This is an exponential speedup in parallel running time over any previously studied algorithm for constrained non-monotone submodular maximization. Beyond its provable guarantees, the algorithm performs well in practice. Specifically, experiments on traffic monitoring and personalized data summarization applications show that the algorithm finds solutions whose values are competitive with state-of-the-art algorithms while running in exponentially fewer parallel iterations.

研究の動機と目的

• 基数制約下での非単調サブモジュラ最大化に対する低適応性アルゴリズムの不足を解決すること。
• 既存の定数近似アルゴリズムが$k$に比例する高い適応性（線形）を示すため、並列スケーラビリティが制限されることを克服すること。
• 大幅に減少した逐次ラウンド数を達成しながらも、強力な近似保証を維持する手法を設計すること。
• 弱い最悪ケース近似比を有する低適応性アルゴリズムでも、実際の応用で競争力のある性能を示せることを実証すること。
• データ要約やネットワーク収益最大化などの応用分野において、大規模サブモジュラ最適化を効率的に並列化すること。

提案手法

• サイズ$k/r$のブロックをサンプリングし、限界利益を評価することで適応ラウンドで動作するBlitsを提案する。
• 各ラウンドで、負の寄与が目的関数に支配されないよう、低確率で要素を解に追加する。
• 候補ブロックを形成する前に、負の限界寄与を持つ要素を除去するための激しいプルーニングを実施する。
• しきい値を設定した限界利益に基づいて解集合$S$を段階的に更新することで、安定性と収束性を確保する。
• 各ブロックから最も高い限界利益を持つ要素を選択するヒューリスティックな変種、Blits+を導入し、実験的性能を向上させる。
• 理論的分析により、Blitsが$ ilde{O}( ight)$の適応ラウンドで$1/2e$に限りなく近い近似比を達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 $k$よりはるかに少ない適応ラウンドで、定数近似比を維持しつつ、非単調サブモジュラ最大化アルゴリズムを設計することは可能か？
• RQ2 解の品質を犠牲にすることなく、非単調サブモジュラ最大化において並列実行時間に指数的スピードアップを達成することは可能か？
• RQ3 画像要約やレコメンデーションシステムなどの実世界の応用において、低適応性が実験的性能に与える影響は何か？
• RQ4 最悪ケース近似保証が弱いアルゴリズムでも、実際には最先端の手法を上回るか、同等の性能を発揮できるか？
• RQ5 適応的サブモジュラ最適化において、理論的近似保証と実用的効率性のトレードオフは何か？

主な発見

• Blitsは、$ ilde{O}( ight)$の適応ラウンドで$1/2e$に限りなく近い近似比を達成し、$\tilde{O}(k)$ラウンドを要する従来手法に比べて指数的改善を実現する。
• RandomGreedyの$1/e$近似保証よりも理論的保証が弱いにもかかわらず、BlitsおよびBlits+は、多様なデータセットにおいて一貫してRandomGreedyやP-Fantomを上回るか同等の実験的性能を示す。
• 画像要約、映画レコメンデーション、収益最大化の実験において、BlitsはP-Fantom や RandomGreedy と同等またはそれ以上の解の値を達成した。
• Blitsは、目標サイズ$k$の約10–15％のサイズでの解を生成するだけで高品質な解を得ており、これは負の寄与要素を早期にプルーニングできることを示しており、$|S| = k$まで実行すればさらに良い結果が得られる可能性がある。
• 理論的に必要な数よりもはるかに少ないサンプル数（実際には1ラウンドあたりたった30サンプル）で強力な性能を達成しており、サンプル複雑度に対して高いロバストネスを示している。
• ヒューリスティックな変種Blits+は、各ブロックから最も高い限界利益を持つ要素を選択することで、実際にはBlitsをわずかに上回る性能を発揮するが、形式的な近似保証は存在しない。