[論文レビュー] Regularized Submodular Maximization at Scale

Ehsan Kazemi, Shervin Minaee+2 more|arXiv (Cornell University)|Feb 10, 2020

Complexity and Algorithms in Graphs参考文献 53被引用数 16

ひとこと要約

本稿では、目的関数が $ f(S) = g(S) - \ell(S) $ である正則化された部分集合最大化問題に対する、スケーラブルなストリーミングおよび分散アルゴリズムとして、Distorted-Streaming および Distorted-Distributed-Greedy を初めて提案する。ここで $ g $ は単調な部分集合関数、$ \ell $ はモジュラー関数である。これらの手法は、それぞれ $ (\phi^{-2} - \varepsilon) \cdot g(\text{OPT}) - \ell(\text{OPT}) $ および $ (1 - \varepsilon)\left[(1 - e^{-1}) \cdot g(\text{OPT}) - \ell(\text{OPT})\right] $ の近似保証を達成し、先行研究と比較してメモリおよび通信コストを $ O(1/\varepsilon) $ 倍削減する。

ABSTRACT

In this paper, we propose scalable methods for maximizing a regularized submodular function $f = g - \ell$ expressed as the difference between a monotone submodular function $g$ and a modular function $\ell$. Indeed, submodularity is inherently related to the notions of diversity, coverage, and representativeness. In particular, finding the mode of many popular probabilistic models of diversity, such as determinantal point processes, submodular probabilistic models, and strongly log-concave distributions, involves maximization of (regularized) submodular functions. Since a regularized function $f$ can potentially take on negative values, the classic theory of submodular maximization, which heavily relies on the non-negativity assumption of submodular functions, may not be applicable. To circumvent this challenge, we develop the first one-pass streaming algorithm for maximizing a regularized submodular function subject to a $k$-cardinality constraint. It returns a solution $S$ with the guarantee that $f(S)\geq(ϕ^{-2}-ε) \cdot g(OPT)-\ell (OPT)$, where $ϕ$ is the golden ratio. Furthermore, we develop the first distributed algorithm that returns a solution $S$ with the guarantee that $\mathbb{E}[f(S)] \geq (1-ε) [(1-e^{-1}) \cdot g(OPT)-\ell(OPT)]$ in $O(1/ ε)$ rounds of MapReduce computation, without keeping multiple copies of the entire dataset in each round (as it is usually done). We should highlight that our result, even for the unregularized case where the modular term $\ell$ is zero, improves the memory and communication complexity of the existing work by a factor of $O(1/ ε)$ while arguably provides a simpler distributed algorithm and a unifying analysis. We also empirically study the performance of our scalable methods on a set of real-life applications, including finding the mode of distributions, data summarization, and product recommendation.

研究の動機と目的

• ストリーミングおよび分散環境下での正則化された部分集合関数の最大化に向けたスケーラブルなアルゴリズムの欠如に対処すること。
• 完全なデータアクセスが不可能な大規模データの効率的でワンパス処理可能な処理を可能にすること。
• 目的関数が負の値を取る可能性がある場合でも、正則化された部分集合最大化に対する理論的近似保証を提供すること。
• 先行手法と比較して、分散計算におけるメモリおよび通信効率を向上させること。
• 実世界の応用、例えばデータ要約および推薦システムにおいて、提案手法の実験的妥当性を検証すること。

提案手法

• $k$-基数制約下での正則化された部分集合最大化のためのワンパスストリーミングアルゴリズムである Distorted-Streaming を提案する。
• ストリーミング環境下での要素選択時にモジュラーペナルティ $ \ell $ を考慮した歪みに基づくグリーディ選択ルールを導入する。
• MapReduce を用いた分散アルゴリズムである Distorted-Distributed-Greedy を開発し、$ O(1/\varepsilon) $ ラウンドで $ (1 - \varepsilon) $-近似を達成する。
• 部分集合最大化のための先行分散アルゴリズムを簡素化・改善する包括的な解析フレームワークを採用する。
• 分散環境下でデータセットの複数コピーの保存を回避するために、圧縮され適応的なサンプリング戦略を用いる。
• 動画要約、製品推薦、Twitter ストリーム要約を含む多様な応用にアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 目的関数が負の値を取る可能性があるとしても、定数倍近似保証を達成できるワンパスストリーミングアルゴリズムを設計できるか？
• RQ2 既存手法と比較して、メモリおよび通信コストを $ O(1/\varepsilon) $ 倍削減できる分散アルゴリズムを設計できるか？
• RQ3 実世界のデータにおいて、提案手法が既存のオフラインおよびストリーミングベースラインと比較して、目的関数値およびスケーラビリティの点でどのように異なるか？
• RQ4 提案手法は、データ要約や推薦システムを含む多様な実世界の応用を効果的に処理できるか？
• RQ5 包括的な解析フレームワークは、分散部分集合最大化の理論的取り扱いを簡素化しつつ、強力な性能保証を維持できるか？

主な発見

• Distorted-Streaming は、データをワンパスで処理する中で、$ (\phi^{-2} - \varepsilon) \cdot g(\text{OPT}) - \ell(\text{OPT}) $ の近似保証を達成し、$ \phi^{-2} \approx 0.382 $ である。
• Distorted-Distributed-Greedy は、$ O(1/\varepsilon) $ ラウンドの MapReduce ラウンドで、期待値として $ (1 - \varepsilon) \cdot \left[(1 - e^{-1}) \cdot g(\text{OPT}) - \ell(\text{OPT})\right] $ の近似を達成する。
• 分散アルゴリズムは、先行研究と比較して、データセットの複数コピーを必要とせず、メモリおよび通信複雑度を $ O(1/\varepsilon) $ 倍削減する。
• 実験的結果から、Distorted-Streaming は、動画、場所、テキスト要約タスクにおいて、スクリーブストリーミングおよびグリーディ動的計画法を上回る目的関数値を達成する。特に $ k $ が大きい場合に顕著である。
• Twitter テキスト要約タスクにおいて、Distorted-Streaming はベースライン手法と比較して顕著に高い目的関数値を達成し、計算コストの増加は無視できる程度である。
• 製品推薦およびソーシャルネットワークにおける頂点被覆タスクにおいて、アルゴリズムは優れた性能を示し、実用的なスケーラビリティと有効性を確認した。