[论文解读] "Bring Your Own Greedy"+Max: Near-Optimal 1/2-Approximations for Submodular Knapsack.

Dmitrii Avdiukhin, Grigory Yaroslavtsev+1 more|arXiv (Cornell University)|Jan 1, 2019

Complexity and Algorithms in Graphs被引用 2

一句话总结

本文提出了一种新颖的算法框架 'Bring Your Own Greedy'+Max，通过为每个部分解添加最优的额外项目，提升了子模性背包问题中贪心算法的性能。该方法在离线、流式处理和分布式环境下均实现了接近最优的 (1/2−ϵ)-近似解，计算开销极低，且在真实数据集上的表现优于理论最坏情况下的界限。

ABSTRACT

The problem of selecting a small-size representative summary of a large dataset is a cornerstone of machine learning, optimization and data science. Motivated by applications to recommendation systems and other scenarios with query-limited access to vast amounts of data, we propose a new rigorous algorithmic framework for a standard formulation of this problem as a submodular maximization subject to a linear (knapsack) constraint. Our framework is based on augmenting all partial Greedy solutions with the best additional item. It can be instantiated with negligible overhead in any model of computation, which allows the classic \greedy algorithm and its variants to be implemented. We give such instantiations in the offline (Greedy+Max), multi-pass streaming (Sieve+Max) and distributed (Distributed+Max) settings. Our algorithms give ($1/2-\epsilon$)-approximation with most other key parameters of interest being near-optimal. Our analysis is based on a new set of first-order linear differential inequalities and their robust approximate versions. Experiments on typical datasets (movie recommendations, influence maximization) confirm scalability and high quality of solutions obtained via our framework. Instance-specific approximations are typically in the 0.6-0.7 range and frequently beat even the $(1-1/e) \approx 0.63$ worst-case barrier for polynomial-time algorithms.

研究动机与目标

• 解决在背包约束下从大规模数据集中选择高质量、小尺寸摘要的挑战。
• 改进子模性最大化问题中线性约束下贪心算法的理论与实际性能。
• 开发一种可推广的框架，以极低的计算成本增强各类计算模型中的现有贪心算法。
• 在保持可扩展性和真实数据上解质量的同时，实现接近最优的近似比。
• 在实践中突破传统的 1/2 近似比瓶颈，通常实现 0.6–0.7 的实例特定近似比。

提出的方法

• 通过后处理步骤，为每个部分贪心解添加尚未包含的最优单个项目，以最大化效用。
• 将该框架应用于三种计算模型：离线（Greedy+Max）、多轮流式处理（Sieve+Max）和分布式（Distributed+Max）。
• 使用一组新型的一阶线性微分不等式及其鲁棒近似形式来分析算法性能。
• 通过最小化修改现有贪心算法实现，实现计算开销可忽略不计。
• 利用子模函数和背包约束的结构，严格界定近似比。
• 设计框架时注重模块化与可扩展性，支持与任何基于贪心的子程序无缝集成。

实验结果

研究问题

• RQ1 通过为贪心解添加剩余项目中的最优项，是否能显著提升子模性背包问题中的近似比？
• RQ2 在计算开销极低的前提下，(1/2−ϵ) 近似保证在多种计算模型中能实现到何种程度？
• RQ3 该框架是否能突破实践中 1/2 近似比的性能瓶颈，即使未改进最坏情况下的理论界限？
• RQ4 新型微分不等式技术如何实现对基于贪心算法更紧密、更鲁棒的分析？
• RQ5 与现有方法相比，该框架在真实世界数据集上的实证性能如何？

主要发现

• 所提出的框架在离线、流式处理和分布式环境中均实现了 (1/2−ϵ) 近似比，且计算开销可忽略不计。
• 在电影推荐和影响力最大化数据集上的实验表明，实例特定的近似比达到 0.6–0.7 范围，通常超过 (1−1/e)≈0.63 的最坏情况理论边界。
• 该框架无需重新设计算法即可增强标准贪心算法，可立即部署于现有系统中。
• 使用一阶线性微分不等式及其鲁棒近似形式，实现了更紧密且更具普适性的性能分析。
• 该方法在所有测试的计算模型中，包括流式处理和分布式环境，均保持了高可扩展性和解质量。
• 研究结果表明，仅通过添加最优项目的简单后处理，即可在实际应用中获得远超理论最坏情况边界的显著性能提升。