[论文解读] Machine Learning Models Disclosure from Trusted Research Environments (TRE), Challenges and Opportunities

Esma Mansouri-Benssassi, S.N. Rogers+3 more|arXiv (Cornell University)|Nov 10, 2021

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本文针对可信研究环境（TREs）中安全披露训练好的机器学习模型这一关键挑战展开研究，此类环境处理敏感的健康数据。文章识别出成员身份推断和模型反演攻击等隐私风险，并提出缓解策略——包括差分隐私、模型蒸馏以及安全模型共享协议——以实现在保护数据隐私的前提下负责任地发布模型，适用于医疗人工智能应用。

ABSTRACT

Artificial intelligence (AI) applications in healthcare and medicine have increased in recent years. To enable access to personal data, Trusted Research environments (TREs) provide safe and secure environments in which researchers can access sensitive personal data and develop Artificial Intelligence (AI) and Machine Learning models. However currently few TREs support the use of automated AI-based modelling using Machine Learning. Early attempts have been made in the literature to present and introduce privacy preserving machine learning from the design point of view [1]. However, there exists a gap in the practical decision-making guidance for TREs in handling models disclosure. Specifically, the use of machine learning creates a need to disclose new types of outputs from TREs, such as trained machine learning models. Although TREs have clear policies for the disclosure of statistical outputs, the extent to which trained models can leak personal training data once released is not well understood and guidelines do not exist within TREs for the safe disclosure of these models. In this paper we introduce the challenge of disclosing trained machine learning models from TREs. We first give an overview of machine learning models in general and describe some of their applications in healthcare and medicine. We define the main vulnerabilities of trained machine learning models in general. We also describe the main factors affecting the vulnerabilities of disclosing machine learning models. This paper also provides insights and analyses methods that could be introduced within TREs to mitigate the risk of privacy breaches when disclosing trained models.

研究动机与目标

• 识别并分析从可信研究环境（TREs）发布训练好的机器学习模型所涉及的隐私风险。
• 研究机器学习模型的漏洞，这些漏洞可能导致训练数据中个体的重新识别。
• 为TREs提供实用指导和技术缓解策略，以在不损害数据隐私的前提下安全发布模型。
• 弥合现有TRE政策中的空白，当前政策缺乏处理模型披露的明确框架。
• 通过建立隐私保护的模型共享机制，支持人工智能在医疗领域的负责任部署。

提出的方法

• 调研现有隐私保护机器学习文献，以识别相关威胁模型和攻击面。
• 将训练后模型中的漏洞（包括成员身份推断和模型反演攻击）分类为模型披露的主要风险。
• 提出技术对策，如差分隐私、模型蒸馏和安全模型聚合，以减少信息泄露。
• 分析模型架构、数据敏感性及访问控制对模型披露风险的影响。
• 为TREs推荐治理与技术工作流程，基于隐私风险评估来评估和批准模型发布。
• 将威胁建模整合到TRE政策框架中，以评估模型共享的隐私影响。

实验结果

研究问题

• RQ1 从TREs中披露训练好的机器学习模型，其主要隐私威胁是什么？
• RQ2 模型特定因素（如架构和超参数）如何影响数据泄露风险？
• RQ3 哪些技术和政策机制能有效降低TREs中模型披露期间的隐私泄露风险？
• RQ4 现有TRE治理模式如何调整以纳入安全模型共享协议？
• RQ5 在应用差分隐私或模型蒸馏等缓解技术时，模型效用与隐私之间的权衡是什么？

主要发现

• 训练好的机器学习模型可能泄露关于训练数据的敏感信息，尤其是通过成员身份推断和模型反演攻击。
• 隐私泄露风险显著受模型复杂度、数据敏感性以及辅助信息可用性的影响。
• 差分隐私和模型蒸馏在减少信息泄露的同时，能有效保持模型在下游任务中的实用性。
• 安全模型共享协议（如联邦学习或加密模型传输）可增强模型披露过程中的隐私保护。
• 当前TRE政策缺乏标准化的模型披露指南，导致隐私治理中存在关键空白。
• 结合技术防护措施与政策控制的风险管理框架，对医疗人工智能中的负责任模型共享至关重要。