[论文解读] Beyond $1/2$-Approximation for Submodular Maximization on Massive Data Streams

Ashkan Norouzi-Fard, Jakub Tarnawski+4 more|arXiv (Cornell University)|Aug 6, 2018

Complexity and Algorithms in Graphs被引用 38

一句话总结

本文提出了 Salsa，这是首个在随机顺序数据到达假设下，实现优于 1/2-近似率的低内存、单遍流式子模最大化算法。通过利用随机顺序和自适应阈值设定，Salsa 突破了先前方法的 0.5-近似率限制，在有利条件下实现了期望 (1−1/e)-近似率，实验验证其在聚类、社交网络分析和推荐系统中的有效性。

ABSTRACT

Many tasks in machine learning and data mining, such as data diversification, non-parametric learning, kernel machines, clustering etc., require extracting a small but representative summary from a massive dataset. Often, such problems can be posed as maximizing a submodular set function subject to a cardinality constraint. We consider this question in the streaming setting, where elements arrive over time at a fast pace and thus we need to design an efficient, low-memory algorithm. One such method, proposed by Badanidiyuru et al. (2014), always finds a $0.5$-approximate solution. Can this approximation factor be improved? We answer this question affirmatively by designing a new algorithm SALSA for streaming submodular maximization. It is the first low-memory, single-pass algorithm that improves the factor $0.5$, under the natural assumption that elements arrive in a random order. We also show that this assumption is necessary, i.e., that there is no such algorithm with better than $0.5$-approximation when elements arrive in arbitrary order. Our experiments demonstrate that SALSA significantly outperforms the state of the art in applications related to exemplar-based clustering, social graph analysis, and recommender systems.

研究动机与目标

• 解决现有流式算法在基数约束下子模最大化问题中近似率被限制在 0.5 的局限性。
• 探究在对抗性顺序下已知的 0.5 阈值是否可在随机顺序数据到达假设下被突破。
• 设计一种低内存、单遍流式算法，实现更优的近似保证，且无需多轮处理或大内存。
• 通过证明在任意顺序流中，任何此类算法都无法超过 0.5-近似率，来证明随机顺序假设的必要性。
• 提出一种实用算法，无需预先知晓最优值，通过采用对数级开销的猜测机制实现。

提出的方法

• 提出 Salsa，一种基于估计最优值和随机顺序到达的自适应阈值设定的流式算法，以实现超过 0.5 的近似率。
• 引入一种新颖的分析框架，利用对边际收益的递归界，利用后序到达元素更可能有显著贡献的事实。
• 采用一种阈值策略，仅当元素的边际收益超过按元素估算最优值动态调整的分数时才将其加入。
• 通过在几何间隔的最优值估计上使用猜测机制，处理未知的 OPT，同时仅维护对数数量的并行算法实例。
• 维护对最大单元素值的运行估计，以界定候选最优值的范围，确保高效的内存使用。
• 证明在随机顺序下，Salsa 在期望中实现 (1−1/e)-近似率，其运行时间和内存成本随近似误差的对数规模增长。

实验结果

研究问题

• RQ1 是否存在一种单遍、低内存的流式算法，可在基数约束下实现单调子模最大化优于 0.5-近似率？
• RQ2 在随机顺序数据到达的假设下，0.5-近似率的障碍是否可被移除？
• RQ3 在流式模型中，实现优于 0.5-近似率的最小内存需求是多少？其是否随流长度增长而变化？
• RQ4 能否设计一种实用算法，无需预先知晓最优值，同时保持改进的近似保证？
• RQ5 Salsa 在真实应用场景（如基于示例的聚类和社交图分析）中与 Sota 方法（如 Sieve-Streaming）相比表现如何？

主要发现

• Salsa 在随机顺序到达的流式模型中，对单调子模最大化实现了 (1−1/e)-近似率，显著优于先前方法的 0.5-近似率。
• 本文证明，任何实现优于 0.5-近似率的算法在最坏情况下必须使用 Ω(n/k) 的内存，表明在任意顺序流中 0.5-近似率的界限是紧的。
• 随机顺序假设是必要的：即使仅用于估计，任何低内存、单遍算法在任意顺序流中也无法超过 0.5-近似率。
• 实验表明，Salsa 在基于示例的聚类、社交网络分析和推荐系统中均优于 Sota 算法（如 Sieve-Streaming）。
• 该算法的内存和时间成本每元素均按 O(log(k)/ε) 规模增长，由于对最优值几何估计的猜测机制，总内存开销为 O(log(k)/ε)。
• 理论分析表明，在随机顺序假设下，随着阈值层级数量的增加，Salsa 的近似率收敛于 (1−1/e)。