[论文解读] Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints

Akbar Rafiey, Yuichi Yoshida|arXiv (Cornell University)|Jun 28, 2020

Privacy-Preserving Technologies in Data参考文献 33被引用 9

一句话总结

本文提出了在拟阵约束下最大化单调子模函数和 $k$-子模函数的差分隐私算法。对于子模函数最大化，实现了 $(1 - 1/e)$-近似比，函数评估次数接近立方级别；对于 $k$-子模函数最大化，实现了 $\frac{1}{2}$-近似比，函数评估次数接近线性级别，且均保持了强隐私保障。

ABSTRACT

The problem of maximizing nonnegative monotone submodular functions under a certain constraint has been intensively studied in the last decade, and a wide range of efficient approximation algorithms have been developed for this problem. Many machine learning problems, including data summarization and influence maximization, can be naturally modeled as the problem of maximizing monotone submodular functions. However, when such applications involve sensitive data about individuals, their privacy concerns should be addressed. In this paper, we study the problem of maximizing monotone submodular functions subject to matroid constraints in the framework of differential privacy. We provide $(1-\\frac{1}{\\mathrm{e}})$-approximation algorithm which improves upon the previous results in terms of approximation guarantee. This is done with an almost cubic number of function evaluations in our algorithm. Moreover, we study $k$-submodularity, a natural generalization of submodularity. We give the first $\\frac{1}{2}$-approximation algorithm that preserves differential privacy for maximizing monotone $k$-submodular functions subject to matroid constraints. The approximation ratio is asymptotically tight and is obtained with an almost linear number of function evaluations.

研究动机与目标

• 设计在拟阵约束下最大化单调子模函数的差分隐私算法，同时保持强隐私保障。
• 将该框架扩展至 $k$-子模函数，其为子模性的推广，可建模更丰富的组合结构。
• 实现与最佳非私有算法相当的近似比，确保理论最优性。
• 最小化函数评估次数，使算法在实际中更高效。
• 在特征选择和影响力最大化等敏感数据应用中，保护个体隐私而不降低性能。

提出的方法

• 使用输出扰动结合指数机制，通过添加与函数敏感度成比例的噪声，确保 $(\epsilon, \delta)$-差分隐私。
• 在 $r(\mathcal{M})$ 轮内逐步进行贪心迭代选择，其中 $r(\mathcal{M})$ 为拟阵的秩，逐步构建可行解。
• 在每轮中，以与 $\exp(\epsilon' \Delta_{e,i} F_D(\mathbf{x}))$ 成比例的概率选择元素及其在 $k$-子模组件中的分配，实现效用与隐私的平衡。
• 采用随机采样策略以在每一步减少搜索空间，提升效率同时保持可行性。
• 利用组合定理对多轮及多次函数评估中的整体隐私损失进行上界控制。
• 提出一种敏感度感知设计，根据函数敏感度 $\Delta$ 和拟阵秩 $r(\mathcal{M})$ 分配隐私预算。

实验结果

研究问题

• RQ1 我们能否设计一种在拟阵约束下实现最优 $1 - 1/e$ 近似比的差分隐私算法，用于单调子模函数最大化？
• RQ2 我们能否将私有子模函数最大化的框架扩展至 $k$-子模函数，使其支持每个元素的多重分配？
• RQ3 在仅使用接近线性函数评估次数的前提下，能否在拟阵约束下实现 $k$-子模函数最大化的常数因子近似？
• RQ4 在组合优化中存在敏感数据时，如何平衡隐私损失与近似质量？
• RQ5 在差分隐私下，实现常数近似所需的最少函数评估次数是多少？

主要发现

• 所提出的在拟阵约束下针对单调子模函数最大化的算法，实现了 $1 - 1/e$ 的近似比，与最佳非私有结果一致。
• 该算法最多评估函数 $O(|E|^{3})$ 次，接近立方级别，显著快于以往的非私有方法。
• 对于 $k$-子模函数最大化，算法实现了 $\frac{1}{2}$-近似比，该结果渐近紧致，与最佳非私有近似一致。
• $k$-子模算法仅使用 $O(k|E|\ln r(\mathcal{M})\ln \frac{r(\mathcal{M})}{\gamma})$ 次函数评估，达到近乎线性复杂度。
• 算法保持了 $O(\epsilon r(\mathcal{M}))$-差分隐私，确保在函数敏感度下的强隐私保障。
• 通过两个激励性示例（广告位分配与多资源设施选址）验证了理论边界的合理性，二者均涉及敏感数据。