[论文解读] Machine Unlearning

Lucas Bourtoule, Varun Chandrasekaran+6 more|arXiv (Cornell University)|Dec 9, 2019

Privacy-Preserving Technologies in Data参考文献 55被引用 8

一句话总结

本文提出了SISA訓練，一種透過在模型訓練期間策略性地限制資料點影響力，從而加速機器忘卻的框架，特別適用於如隨機梯度下降等有狀態演算法。即使在最壞情況的忘卻請求分佈下，其忘卻時間亦可相比從零開始重新訓練減少最多4.63倍，同時維持模型準確性。

ABSTRACT

Once users have shared their data online, it is generally difficult for them to revoke access and ask for the data to be deleted. Machine learning (ML) exacerbates this problem because any model trained with said data may have memorized it, putting users at risk of a successful privacy attack exposing their information. Yet, having models unlearn is notoriously difficult. We introduce SISA training, a framework that expedites the unlearning process by strategically limiting the influence of a data point in the training procedure. While our framework is applicable to any learning algorithm, it is designed to achieve the largest improvements for stateful algorithms like stochastic gradient descent for deep neural networks. SISA training reduces the computational overhead associated with unlearning, even in the worst-case setting where unlearning requests are made uniformly across the training set. In some cases, the service provider may have a prior on the distribution of unlearning requests that will be issued by users. We may take this prior into account to partition and order data accordingly, and further decrease overhead from unlearning. Our evaluation spans several datasets from different domains, with corresponding motivations for unlearning. Under no distributional assumptions, for simple learning tasks, we observe that SISA training improves time to unlearn points from the Purchase dataset by 4.63x, and 2.45x for the SVHN dataset, over retraining from scratch. SISA training also provides a speed-up of 1.36x in retraining for complex learning tasks such as ImageNet classification; aided by transfer learning, this results in a small degradation in accuracy. Our work contributes to practical data governance in machine unlearning.

研究动机与目标

• 為了解決在資料分享後使用者請求刪除的情況下，高效地從訓練好的機器學習模型中刪除資料點的挑戰。
• 降低忘卻的計算開銷，因為忘卻通常與從零開始重新訓練一樣昂貴。
• 設計一種訓練框架，使忘卻速度更快而不損及模型表現，特別適用於使用隨機梯度下降的深度神經網絡。
• 利用對忘卻請求分佈的先驗知識，進一步優化資料分割與排序，以降低忘卻成本。
• 透過使忘卻可擴展且高效，實現機器學習實際部署中的實用資料治理。

提出的方法

• SISA訓練引入一種機制，在模型訓練期間限制單一資料點的影響力，從而減少其在模型中的記憶化。
• 該框架設計為與任何學習演算法相容，但對於如隨機梯度下降等有狀態演算法能獲得最佳效益。
• 根據忘卻請求分佈的先驗資訊，對訓練資料進行分割與排序，以最小化忘卻的開銷。
• 透過在初始訓練期間控制影響力，減少對完整重訓練的需求，從而實現資料點的高效移除。
• 在複雜任務中利用遷移學習，以在加速忘卻的同時維持準確性。
• 該方法確保即使請求在訓練集中均勻分佈，也能高效執行忘卻。

实验结果

研究问题

• RQ1 如何在不從零開始重新訓練整個模型的情況下，加速機器忘卻？
• RQ2 哪些訓練期間的修改可以降低有狀態學習演算法中忘卻資料點的計算成本？
• RQ3 能否利用對忘卻請求分佈的先驗知識，進一步降低忘卻開銷？
• RQ4 SISA訓練在從簡單到複雜的多樣資料集與學習任務中表現如何？
• RQ5 在保持模型準確性的前提下，忘卻效率能提升到何種程度？

主要发现

• 在Purchase資料集上，SISA訓練在無任何分佈假設的情況下，相比從零開始重新訓練，將忘卻時間減少4.63倍。
• 在SVHN資料集上，SISA訓練相比重新訓練使忘卻時間加快2.45倍。
• 在ImageNet分類等複雜任務中，SISA在重訓練時實現1.36倍的加速，且在遷移學習協助下僅有微小的準確率下降。
• 即使在最壞情況下（忘卻請求在訓練集中均勻分佈），該框架仍保持有效性。
• 透過整合對請求分佈的先驗知識，SISA透過策略性資料分割與排序進一步降低忘卻開銷。
• SISA提供了一種可擴展且實用的機器學習資料治理解決方案，實現高效且即時的忘卻。