[论文解读] A Submodularity-based Agglomerative Clustering Algorithm for the Privacy Funnel

Ni Ding, Parastoo Sadeghi|arXiv (Cornell University)|Jan 20, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用 7

一句话总结

该论文提出 IAC-MDSF，一种基于子模性的凝聚聚类算法，用于隐私漏斗（PF）和信息瓶颈（IB）问题。通过将最优合并选择建模为子模函数之差（MDSF），该方法能够在当前字母表的所有子集上实现高效多项式时间优化，相较于成对合并方法，在真实数据上的收敛速度和隐私-效用权衡性能方面表现更优。

ABSTRACT

For the privacy funnel (PF) problem, we propose an efficient iterative agglomerative clustering algorithm based on the minimization of the difference of submodular functions (IAC-MDSF). For a data curator that wants to share the data $X$ correlated with the sensitive information $S$, the PF problem is to generate the sanitized data $\hat{X}$ that maintains a specified utility/fidelity threshold on $I(X; \hat{X})$ while minimizing the privacy leakage $I(S; \hat{X})$. Our IAC-MDSF algorithm starts with the original alphabet $\hat{\mathcal{X}} := \mathcal{X}$ and iteratively merges the elements in the current alphabet $\hat{\mathcal{X}}$ that minimizes the Lagrangian function $ I(S;\hat{X}) - λI(X;\hat{X}) $. We prove that the best merge in each iteration of IAC-MDSF can be searched efficiently over all subsets of $\hat{\mathcal{X}}$ by the existing MDSF algorithms. We show that the IAC-MDSF algorithm also applies to the information bottleneck (IB), a dual problem to PF. By varying the value of the Lagrangian multiplier $λ$, we obtain the experimental results on a heart disease data set in terms of the Pareto frontier: $ I(S;\hat{X})$ vs. $- I(X;\hat{X})$. We show that our IAC-MDSF algorithm outperforms the existing iterative pairwise merge approaches for both PF and IB and is computationally much less complex.

研究动机与目标

• 为解决数据发布中的隐私-效用权衡（PUT）问题，其中数据管理员必须清洗与敏感信息 S 相关的有用数据 X。
• 开发一种高效算法，以最小化隐私泄露 I(S;X̂)，同时维持指定的效用阈值 I(X;X̂)≥θU。
• 通过利用子模优化实现所有子集上的最优合并选择，克服现有成对合并方法的高计算复杂度。
• 将所提方法扩展至对偶信息瓶颈（IB）问题，实现相关性与压缩的联合优化。
• 在收敛速度和帕累托前沿主导性方面，展现出优于现有迭代成对合并算法的性能。

提出的方法

• IAC-MDSF 算法从原始字母表 X̂(0):=X 开始，通过迭代合并 X̂(k) 的子集 W⊆X̂(k)，以最小化拉格朗日函数 I(S;X̂W)−λI(X;X̂W)。
• 通过将问题转化为最小化两个子模函数之差（MDSF），实现最优合并选择，从而利用现有的 MDSF 求解器（如 SubM-SuperM 或模函数最小化）实现多项式时间局部收敛。
• 该方法利用了互信息项 I(S;X̂W) 和 I(X;X̂W) 的子模性，其证明基于微分熵的性质及 −ylog y 的对数凸性。
• 算法保持确定性转移 p(x̂|x)∈{0,1}，避免软转换，专注于通过子集合并实现高效的码书构建。
• 通过调节拉格朗日乘子 λ，可追踪隐私泄露 I(S;X̂) 与效用损失 −I(X;X̂) 之间的帕累托前沿。
• 该方法同时适用于隐私漏斗（PF）和信息瓶颈（IB）问题，展现出双重适用性。

实验结果

研究问题

• RQ1 能否在所有子集而非仅成对的基础上实现隐私漏斗问题中数据元素的最优合并，从而获得更优的隐私-效用权衡？
• RQ2 能否利用互信息项的子模性来降低合并选择过程的计算复杂度？
• RQ3 MDSF 建模是否能实现比现有成对合并算法更快的收敛速度和更优性能？
• RQ4 所提出的 IAC-MDSF 算法在隐私泄露与效用损失的帕累托前沿方面，相较于基线方法表现如何？
• RQ5 基于 MDSF 的方法能否扩展至信息瓶颈问题，并实现类似的性能提升？

主要发现

• IAC-MDSF 算法的收敛迭代次数显著少于文献 [4] 中的成对合并方法，在匈牙利心脏病数据集上仅需数次迭代即可收敛。
• 该算法实现了更优的隐私-效用权衡，其生成的帕累托前沿在 PF 和 IB 问题中普遍优于成对合并方法。
• 与成对合并每轮 O(|X|²) 的计算成本相比，计算复杂度显著降低，因为该方法在 2^X̂(k) 的幂集上搜索，但每步可合并多个元素。
• I(S;X̂W) 和 I(X;X̂W) 的子模性已正式证明，其中 f(W) 和 g(W) 分别为子模且非递增函数，从而支持 MDSF 建模。
• 在 UCI 心脏病数据集上的实验结果表明，IAC-MDSF 在相同效用水平 I(X;X̂) 下，实现更低的隐私泄露 I(S;X̂)，优于现有方法。
• 该方法适用于隐私漏斗与信息瓶颈问题，展现出其在相关优化框架中的通用性与鲁棒性。