[论文解读] Information Laundering for Model Privacy
本文提出了一种名为信息洗白（information laundering）的新颖信息论框架，通过联合扰动已部署模型的输入和输出查询来增强模型隐私。通过优化模型效用与对抗性推理难度之间的权衡，该方法通过迭代核设计实现可证明的最优隐私-效用平衡，并在有限字母表假设下提供收敛性保证。
In this work, we propose information laundering, a novel framework for enhancing model privacy. Unlike data privacy that concerns the protection of raw data information, model privacy aims to protect an already-learned model that is to be deployed for public use. The private model can be obtained from general learning methods, and its deployment means that it will return a deterministic or random response for a given input query. An information-laundered model consists of probabilistic components that deliberately maneuver the intended input and output for queries to the model, so the model's adversarial acquisition is less likely. Under the proposed framework, we develop an information-theoretic principle to quantify the fundamental tradeoffs between model utility and privacy leakage and derive the optimal design.
研究动机与目标
- 为应对公开部署过程中对已训练机器学习模型日益增长的对抗性逆向工程防护需求。
- 基于信息论原则，为模型隐私（与数据隐私不同）制定严格的隐私-效用权衡。
- 开发一种系统性框架，使模型所有者能够通过受控的输入与输出转换，主动模糊其模型行为。
- 推导出能最大化隐私同时保持可接受模型效用的输入与输出核的最优设计。
- 为实际部署场景中的信息洗白提供收敛性保证与实用算法。
提出的方法
- 提出一种级联模型，其中输入 $X$ 通过核 $K_1$ 扰动，输出 $\tilde{Y}$ 通过核 $K_2$ 扰动，形成从 $X$ 到 $Y$ 的有效信道 $K$。
- 设计一个目标函数，结合 $X,\tilde{X}$ 与 $\tilde{Y},Y$ 之间的互信息，以及 $K$ 与原始模型 $K_*$ 之间的 KL 散度。
- 采用交替优化算法联合学习 $K_1$ 与 $K_2$，在原始模型 $K_*$ 为确定性且字母表有限的假设下，证明其收敛至全局最小值。
- 推导出一种简化算法（OIL-Y），适用于输出空间 $\mathcal{Y}$ 有限且 $K_*$ 为确定性的情形，利用矩阵表示实现高效计算。
- 通过涉及指数加权与归一化操作的迭代更新，优化输出核 $p_{K_2}$ 与边缘输出分布 $p_Y$。
- 引入类似温度的参数 $\beta_2$，以控制输出扰动过程中隐私与效用之间的权衡。
实验结果
研究问题
- RQ1如何在不损害合法用户使用效用的前提下，增强预训练模型的隐私性？
- RQ2模型效用与对抗性模型提取难度之间的根本权衡是什么？
- RQ3如何联合优化输入与输出扰动，以在最小化效用损失的同时最大化隐私？
- RQ4针对扰动设计的收敛性与最优性，可提供哪些理论保证？
- RQ5模型结构（如确定性与随机性）如何影响信息洗白的有效性？
主要发现
- 所提出的的信息洗白框架通过信息论目标函数，实现了模型效用与隐私泄露之间的可证明权衡。
- 在原始模型 $K_*$ 为确定性且输出空间有限的假设下，证明了交替优化过程收敛至全局最小值。
- 针对有限输出字母表情形，推导出专用算法 OIL-Y，可通过矩阵运算实现高效部署。
- 该方法能有效隐藏真实模型行为，使攻击者难以进行模型提取，同时保持可接受的响应保真度。
- 该框架对输入分布不平衡具有鲁棒性，并可通过 $\beta_2$ 等参数调节隐私-效用权衡。
- 附录中的实验结果验证了算法收敛性，并展示了不同设置下隐私与效用之间的权衡特性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。