[论文解读] A Tunable Measure for Information Leakage

Jiachun Liao, Oliver Kosut+2 more|arXiv (Cornell University)|Jun 8, 2018

Adversarial Robustness in Machine Learning参考文献 11被引用 6

一句话总结

该论文提出了最大α-泄漏（maximal α-leakage），一种可调节的信息泄漏度量方法，通过参数α在互信息（MI）与最大泄漏（MaxL）之间插值，实现对两者的统一。该度量用于量化攻击者从披露数据中推断原始数据任意函数的收益，其中α控制攻击者的信念精炼策略。研究证明该度量等价于输入分布上阿普里莫互信息（A-MI）的上确界，建立了诸如数据处理不等式和组合不等式等关键性质。

ABSTRACT

A tunable measure for information leakage called extit{maximal $α$-leakage} is introduced. This measure quantifies the maximal gain of an adversary in refining a tilted version of its prior belief of any (potentially random) function of a dataset conditioning on a disclosed dataset. The choice of $α$ determines the specific adversarial action ranging from refining a belief for $α=1$ to guessing the best posterior for $α= \infty$, and for these extremal values this measure simplifies to mutual information (MI) and maximal leakage (MaxL), respectively. For all other $α$ this measure is shown to be the Arimoto channel capacity. Several properties of this measure are proven including: (i) quasi-convexity in the mapping between the original and disclosed datasets; (ii) data processing inequalities; and (iii) a composition property.

研究动机与目标

• 在单一可调节框架下统一互信息与最大泄漏，以量化信息泄漏。
• 通过参数化损失函数建模攻击者的推理能力，该函数在软信念精炼（MI）与硬猜测（MaxL）之间插值。
• 将最大α-泄漏确立为阿普里莫与西布森互信息的推广，实现对极端攻击行为之间连续插值。
• 证明所提度量满足诸如拟凸性、数据处理不等式和组合不等式等基本性质。

提出的方法

• 将α-泄漏定义为原始数据X与披露数据Y之间的阿普里莫互信息（A-MI），其参数化依赖于α。
• 将最大α-泄漏定义为所有输入分布P_X上A-MI的上确界，以捕捉所有可能数据分布下的最坏情况泄漏。
• 利用Rényi散度与Rényi熵，将该度量表达为广义信息论量。
• 建立最大α-泄漏与所有输入分布上西布森互信息（S-MI）上确界之间的等价性。
• 通过分析马尔可夫链X → Y₁ → Y₂并界定相关表达式，证明最大α-泄漏满足数据处理不等式。
• 通过证明X到Y₁与Y₂的总泄漏受个体泄漏之和的限制，展示组合性质，其中等式成立条件通过优化推导得出。

实验结果

研究问题

• RQ1 互信息与最大泄漏能否在单一连续框架下统一，以捕捉中间攻击行为？
• RQ2 所提度量中的参数α如何控制信念精炼（MI）与硬猜测（MaxL）之间的权衡？
• RQ3 最大α-泄漏是否等价于已知的信息论量（如阿普里莫或西布森互信息），若等价，其成立条件为何？
• RQ4 最大α-泄漏是否满足基本信息论性质，如数据处理不等式与组合不等式？
• RQ5 组合不等式在何种精确条件下达到紧致性？

主要发现

• 最大α-泄漏等价于所有输入分布P_X上阿普里莫互信息（A-MI）的上确界，提供了直接的可操作解释。
• 当α = 1时，最大α-泄漏退化为互信息（MI）；当α = ∞时，退化为最大泄漏（MaxL），确认该度量在两者之间实现连续插值。
• 该度量满足数据处理不等式：若X → Y₁ → Y₂构成马尔可夫链，则X到Y₁,Y₂的泄漏受X到Y₁与X到Y₂泄漏之和的限制。
• 组合性质成立，X到多个披露数据集Y₁与Y₂的总泄漏受个体泄漏之和的限制，且在后验分布满足特定条件时等式成立。
• 组合不等式中的等式条件由存在一个最优y₁*使第二项最大化，且后验P_X̃(x|y₁)与第二信道的最优输入分布一致所刻画。
• 对于α = 1与α = ∞，通过标准互信息与MaxL性质独立验证了组合不等式，确认在整个α范围内的一致性。