[论文解读] Machine Unlearning: its nature, scope, and importance for a "delete culture"

Luciano Floridi|arXiv (Cornell University)|May 24, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出机器遗忘（MU）作为数字时代实现‘删除文化’的关键机制，使个人和组织能够有效从机器学习模型中删除特定数据。通过形式化删除与阻断策略，本文认为MU为保护隐私和知识产权提供了切实可行的解决方案，尤其在大型语言模型（如ChatGPT）中尤为重要，尽管其滥用和误用的伦理风险需引起政策层面的审慎关注。

ABSTRACT

The article explores the cultural shift from recording to deleting information in the digital age and its implications on privacy, intellectual property (IP), and Large Language Models like ChatGPT. It begins by defining a delete culture where information, in principle legal, is made unavailable or inaccessible because unacceptable or undesirable, especially but not only due to its potential to infringe on privacy or IP. Then it focuses on two strategies in this context: deleting, to make information unavailable; and blocking, to make it inaccessible. The article argues that both strategies have significant implications, particularly for machine learning (ML) models where information is not easily made unavailable. However, the emerging research area of Machine Unlearning (MU) is highlighted as a potential solution. MU, still in its infancy, seeks to remove specific data points from ML models, effectively making them 'forget' completely specific information. If successful, MU could provide a feasible means to manage the overabundance of information and ensure a better protection of privacy and IP. However, potential ethical risks, such as misuse, overuse, and underuse of MU, should be systematically studied to devise appropriate policies.

研究动机与目标

• 考察数字时代从数据保留向数据删除的文化转变。
• 分析信息治理中删除（使数据不可用）与阻断（使数据不可访问）之间的区别。
• 将机器遗忘定位为一种新型技术解决方案，以实现在机器学习模型中实现数据删除。
• 强调在实践中机器遗忘滥用、过度使用和使用不足的伦理风险。
• 倡导建立支持机器遗忘技术负责任部署的政策框架。

提出的方法

• 将‘删除文化’定义为一种规范性转变，即由于隐私或知识产权担忧，信息被设为不可用或不可访问。
• 区分删除（永久不可用）与阻断（临时不可访问）作为数据治理中的两种不同策略。
• 将机器遗忘构架为一种技术机制，使机器学习模型能够‘遗忘’特定的训练数据点。
• 提出MU可通过允许模型重新训练或更新以排除不想要的信息，从而实现数据保护原则的合规。
• 强调需系统性研究MU中的伦理风险，包括潜在滥用或采用不足的问题。
• 倡导开展跨学科研究，以指导人工智能系统中MU相关政策的制定。

实验结果

研究问题

• RQ1 机器遗忘如何在机器学习系统中实现实际的‘删除文化’？
• RQ2 在机器学习模型中，数据删除与阻断在技术和伦理层面有何不同？
• RQ3 机器遗忘在何种方式上可支持大型语言模型中的隐私与知识产权保护？
• RQ4 机器遗忘能力的滥用、过度使用或使用不足会引发哪些风险？
• RQ5 如何设计政策框架以确保机器遗忘的负责任且公平的部署？

主要发现

• 机器遗忘为使训练后的机器学习模型中特定数据点不可用提供了切实可行的技术路径，支持‘删除文化’的实现。
• 删除（永久移除）与阻断（临时限制）之间的区别对于理解人工智能中的数据治理至关重要。
• 像ChatGPT这样的大型语言模型由于其规模和复杂性，给数据删除带来独特挑战，使得机器遗忘尤为相关。
• 成功实施MU可显著增强人工智能系统中的隐私与知识产权保护。
• 必须系统性研究伦理风险，包括滥用遗忘功能以删除合法记录，或因技术障碍导致使用不足。
• 政策制定对于确保机器遗忘在不同领域中负责任且公平地部署至关重要。