[论文解读] Assisted Learning and Imitation Privacy

Xun Xian, Xinran Wang+2 more|arXiv (Cornell University)|Apr 1, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用 1

一句话总结

本文提出一种辅助学习框架，使服务提供商（Bob）能够在不暴露其私有模型或数据的情况下，帮助学习者（Alice）进行个性化监督学习。通过在迭代通信中仅传输相关统计信息，该框架在提升学习性能的同时引入了‘模仿隐私’——一种新颖的隐私概念，用于量化学习算法层面而非数据层面的泄露风险。

ABSTRACT

Motivated by the emerging needs of decentralized learners with personalized learning objectives, we present an Assisted Learning framework where a service provider Bob assists a learner Alice with supervised learning tasks without transmitting Bob's private algorithm or data. Bob assists Alice either by building a predictive model using Alice's labels, or by improving Alice's private learning through iterative communications where only relevant statistics are transmitted. The proposed learning framework is naturally suitable for distributed, personalized, and privacy-aware scenarios. For example, it is shown in some scenarios that two suboptimal learners could achieve much better performance through Assisted Learning. Moreover, motivated by privacy concerns in Assisted Learning, we present a new notion of privacy to quantify the privacy leakage at learning level instead of data level. This new privacy, named imitation privacy, is particularly suitable for a market of statistical learners each holding private learning algorithms as well as data.

研究动机与目标

• 解决在学习者拥有私有数据和模型的场景下，对去中心化、个性化学习的需求。
• 克服在协作过程中共享私有学习算法和数据的挑战，同时通过协作实现性能提升。
• 提出一种新的隐私度量——模仿隐私，用于量化学习算法层面的泄露风险，而非数据层面。
• 通过仅交换相关统计信息的迭代通信，实现安全、高效且隐私保护的模型优化。
• 支持一个统计学习者市场，其中每个参与者均持有私有算法和数据，确保在实用性和隐私性之间取得平衡。

提出的方法

• 设计一个框架，使Bob利用Alice的标签构建预测模型，同时保护其私有算法和数据。
• 在Alice与Bob之间实现迭代通信，仅传输相关统计摘要，以改进Alice的私有模型。
• 引入模仿隐私作为正式的隐私概念，用于量化攻击者从交互中推断Bob私有学习算法的风险。
• 将学习过程形式化为一个分布式优化问题，仅交换最少且非敏感的信息。
• 确保该框架在可扩展性方面表现良好，适用于个性化、去中心化和隐私敏感的机器学习场景。
• 使用统计和信息论工具分析并界定辅助学习过程中模仿隐私的泄露量。

实验结果

研究问题

• RQ1 服务提供商如何在不暴露私有数据或算法的前提下，协助学习者改进其模型？
• RQ2 何种有效的隐私度量能够捕捉学习算法层面的模型逆向或模仿攻击风险？
• RQ3 两个性能欠佳的学习者是否可通过最小信息交换的协作式辅助学习实现显著性能提升？
• RQ4 在分布式学习环境中，如何量化并最小化学习算法的隐私泄露？
• RQ5 在辅助学习框架中，模型性能提升与隐私泄露之间存在何种权衡？

主要发现

• 辅助学习框架通过协作实现性能提升，且无需共享原始数据或完整模型，适用于次优学习者。
• 该框架通过仅传输相关统计摘要，实现安全的迭代模型优化，显著降低通信与隐私开销。
• 模仿隐私能有效量化攻击者从交互中重建私有学习算法的风险，提供了一种新颖的隐私抽象。
• 该框架天然适用于去中心化、个性化和隐私敏感的机器学习应用。
• 理论分析表明，通过精心设计通信协议，可对模仿隐私进行有界控制并实现最小化。
• 实证场景表明，即使双方初始模型均表现较弱，学习者仍可通过辅助学习实现显著的性能提升。