[论文解读] GRAIMATTER Green Paper: Recommendations for disclosure control of trained Machine Learning (ML) models from Trusted Research Environments (TREs)

Emily Jefferson, James Liley+17 more|arXiv (Cornell University)|Sep 21, 2022

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本文提出了针对从可信研究环境（TREs）发布的训练机器学习模型的披露控制全面建议，解决了通过模型输出和元数据推断敏感数据的风险。该框架由GRAIMATTER项目制定，为TREs提供了实用的控制措施，以减轻隐私泄露风险，同时在医疗和公共事务等数据敏感领域实现负责任的AI模型共享。

ABSTRACT

TREs are widely, and increasingly used to support statistical analysis of sensitive data across a range of sectors (e.g., health, police, tax and education) as they enable secure and transparent research whilst protecting data confidentiality. There is an increasing desire from academia and industry to train AI models in TREs. The field of AI is developing quickly with applications including spotting human errors, streamlining processes, task automation and decision support. These complex AI models require more information to describe and reproduce, increasing the possibility that sensitive personal data can be inferred from such descriptions. TREs do not have mature processes and controls against these risks. This is a complex topic, and it is unreasonable to expect all TREs to be aware of all risks or that TRE researchers have addressed these risks in AI-specific training. GRAIMATTER has developed a draft set of usable recommendations for TREs to guard against the additional risks when disclosing trained AI models from TREs. The development of these recommendations has been funded by the GRAIMATTER UKRI DARE UK sprint research project. This version of our recommendations was published at the end of the project in September 2022. During the course of the project, we have identified many areas for future investigations to expand and test these recommendations in practice. Therefore, we expect that this document will evolve over time. The GRAIMATTER DARE UK sprint project has also developed a minimal viable product (MVP) as a suite of attack simulations that can be applied by TREs and can be accessed here (https://github.com/AI-SDC/AI-SDC). If you would like to provide feedback or would like to learn more, please contact Smarti Reel (<strong>[e-mail]</strong>) and Emily Jefferson (<strong>[e-mail]</strong>). The summary of our recommendations for a general public audience can be found at DOI: 10.5281/zenodo.7089514

研究动机与目标

• 解决从可信研究环境（TREs）发布的训练机器学习模型中，敏感个人数据被推断的日益增长的风险。
• 为TREs制定切实可行、可操作的建议，以实施针对AI模型共享的披露控制措施。
• 减轻在数据保护研究环境中，由于模型可解释性、元数据泄露和模型反演攻击引发的隐私威胁。
• 在维护数据机密性的同时，支持安全且透明的AI研究，特别是在医疗、执法和税收等领域。
• 为未来在可信数据环境中模型披露控制的研究与演进奠定基础。

提出的方法

• 作者对从TREs发布模型所涉及的隐私风险进行了跨学科分析，重点关注模型反演、成员推断和模型提取攻击。
• 基于数据来源和模型复杂度，开发了用于评估模型输出和元数据敏感性的基于风险的框架。
• 建议包括技术控制措施，如模型蒸馏、输出扰动和访问限制，以减少信息泄露。
• 该框架整合了治理和审计机制，以确保模型披露过程的合规性和透明度。
• 该方法强调数据保管人、研究人员和隐私官员之间的协作，将隐私设计融入模型共享工作流程。
• 通过利益相关方研讨会对建议进行了验证，并与现有的数据保护标准和法规保持一致。

实验结果

研究问题

• RQ1 当从可信研究环境发布的训练机器学习模型时，会浮现哪些具体的隐私风险？
• RQ2 TREs如何实施有效的披露控制措施，以防止从模型输出或元数据中重新识别个人？
• RQ3 在敏感数据环境中，可采用哪些技术和治理机制来降低模型反演和成员推断攻击的风险？
• RQ4 如何在可信研究环境中实现既保护隐私又可科学复现的模型共享？
• RQ5 当前TRE在处理AI模型披露方面存在哪些关键缺口，应如何弥补？

主要发现

• 本文指出，即使在模型训练完成后，从TRE发布的训练ML模型仍可能通过模型输出、梯度和元数据无意中暴露敏感个人数据。
• 模型反演和成员推断攻击构成重大风险，尤其当模型复杂且在高维敏感数据上训练时。
• 建议措施包括输出净化、应用差分隐私以及实施访问控制策略，以降低披露风险。
• 该框架强调应采用基于风险的模型共享方法，根据数据敏感性和模型复杂度实施定制化控制。
• 作者指出，当前TRE实践在AI模型披露方面缺乏成熟的控制机制，导致数据保护存在关键缺口。
• 建议设计为可适应且可迭代，预期将根据实际测试和实施情况在未来持续优化。