[论文解读] Deletion Robust Submodular Maximization over Matroids

Paul Dütting, Federico Fusco+3 more|arXiv (Cornell University)|Jan 31, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文首次为一般拟阵约束下的删除鲁棒子模最大化问题提出了常数因子近似算法，实现了接近最优的空间复杂度。在集中式环境下，其近似比为 (3.582 + O(ε))，摘要大小为 O(k + d log k / ε²)；在流式环境下，其近似比为 (5.582 + O(ε))，空间复杂度相同，显著优于先前所需的 Ω(kd) 空间。

ABSTRACT

Maximizing a monotone submodular function is a fundamental task in machine learning. In this paper, we study the deletion robust version of the problem under the classic matroids constraint. Here the goal is to extract a small size summary of the dataset that contains a high value independent set even after an adversary deleted some elements. We present constant-factor approximation algorithms, whose space complexity depends on the rank $k$ of the matroid and the number $d$ of deleted elements. In the centralized setting we present a $(3.582+O(\varepsilon))$-approximation algorithm with summary size $O(k + \frac{d \log k}{\varepsilon^2})$. In the streaming setting we provide a $(5.582+O(\varepsilon))$-approximation algorithm with summary size and memory $O(k + \frac{d \log k}{\varepsilon^2})$. We complement our theoretical results with an in-depth experimental analysis showing the effectiveness of our algorithms on real-world datasets.

研究动机与目标

• 设计针对一般拟阵约束下删除鲁棒子模最大化问题的空间高效算法。
• 在最多 d 个元素被敌意删除的情况下，仍能实现常数因子近似保证。
• 将空间复杂度从先前的 Ω(kd) 降低至 O(k + d log k / ε²)，接近信息论下限。
• 通过理论与实证分析，验证算法在多种真实世界数据集上的性能表现。
• 通过分析 ε 对鲁棒性的影响，弥合理论保证与实际性能之间的差距。

提出的方法

• 该算法构建一个大小为 O(k + d log k / ε²) 的摘要集 W，其中包含在敌意删除下仍可能存活的元素。
• 基于元素的边际增益采用分桶策略，将元素按其对当前解的贡献进行分组。
• 在集中式环境下，采用改进的贪心选择结合概率采样，以确保对任意 d 次删除的鲁棒性。
• 在流式环境下，通过保留采样与增量更新维护动态摘要，以保持近似保证。
• 分析基于非鲁棒问题的 (e/(e-1))-近似因子（≈1.582）作为基线，并为鲁棒性增加 2 或 4 的附加代价。
• 提出一种新颖的分析框架，考虑最坏情况的删除模式，同时控制所选元素的期望存活概率。

实验结果

研究问题

• RQ1 我们能否在接近信息论最小值的空间复杂度下，为一般拟阵上的删除鲁棒子模最大化问题实现常数因子近似？
• RQ2 在敌意删除 d 个元素的条件下，维持常数因子近似的最小摘要大小是多少？
• RQ3 随着鲁棒性参数 ε 增大，近似保证如何退化？与理论边界相比有何差异？
• RQ4 我们能否设计出在乘法意义上空间复杂度与 k 和 d 无关的流式算法，同时保持常数因子近似？
• RQ5 为何实验结果显著优于理论最坏情况边界？这对我们对敌手模型的悲观假设意味着什么？

主要发现

• 集中式算法实现了 (3.582 + O(ε))-近似，摘要大小为 O(k + d log k / ε²)，优于先前的 O(kd) 空间复杂度。
• 流式算法实现了 (5.582 + O(ε))-近似，空间复杂度相同，与理论下限仅相差对数因子。
• 实验结果表明，随着 ε 减小，性能持续提升，且算法始终优于理论最坏情况边界。
• 在所有实验——包括 Facebook、MovieLens、RunInRome 和 Uber 数据集——中，所提算法均实现了接近最优的性能，尤其在 ε 较小时表现更佳。
• 理论与实践之间性能差距的原因在于：假设敌手总是删除最有价值的元素，而这一情况在现实中极不可能发生。
• 算法展现出良好的鲁棒性与可扩展性，在不同数据分布与删除模式下均保持稳定性能。