[論文レビュー] Adaptive Machine Unlearning

Varun Gupta, Christopher Jung+4 more|arXiv (Cornell University)|Jun 8, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用数 45

ひとこと要約

本論文は、機械学習におけるアンラーニングの適応的削除保証を実現する一般的な還元法を提案し、差分プライバシーと最大情報量を組み合わせて任意のモデルクラスと学習方法に跨る適応的削除シーケンスを扱い、理論と実験を通じて以前の非適応的方法の限界を示す。

ABSTRACT

Data deletion algorithms aim to remove the influence of deleted data points from trained models at a cheaper computational cost than fully retraining those models. However, for sequences of deletions, most prior work in the non-convex setting gives valid guarantees only for sequences that are chosen independently of the models that are published. If people choose to delete their data as a function of the published models (because they don't like what the models reveal about them, for example), then the update sequence is adaptive. In this paper, we give a general reduction from deletion guarantees against adaptive sequences to deletion guarantees against non-adaptive sequences, using differential privacy and its connection to max information. Combined with ideas from prior work which give guarantees for non-adaptive deletion sequences, this leads to extremely flexible algorithms able to handle arbitrary model classes and training methodologies, giving strong provable deletion guarantees for adaptive deletion sequences. We show in theory how prior work for non-convex models fails against adaptive deletion sequences, and use this intuition to design a practical attack against the SISA algorithm of Bourtoule et al. [2021] on CIFAR-10, MNIST, Fashion-MNIST.

研究の動機と目的

• 規制とセキュリティの圧力の下でデータ削除（アンラーニング）を動機づけ、再学習コストを削減する。
• 公表されたモデルに依存する適応的な削除要求列に対する保証を提供する。
• 非適応保証を適応設定へ拡張するためにDPと最大情報量を活用するモジュール式フレームワークを開発する。
• 既存の非適応法の限界を示し、実用的でDP駆動の分散アンラーニング手法を提案する。
• データセットとモデルファミリーを跨る適応的削除保証の理論的・実証的結果を示す。

提案手法

• 適応的削除列に対するα、β、γ保証を備えた正式なアンラーニングフレームワークを定義する。
• 一般的な還元法を提案する：学習/アンラーニングの対が非適応削除保証を持ち、公開が内部乱数において差分プライバシーである場合には適応的保証が成り立つ。
• independently trained shards を持つSISA風の分散アーキテクチャとDPベースの集約を採用し、適応保証を可能にする。
• 内部乱数と更新間の最大情報量を DP によって境界づけ、適応的な敵対者を制御する。
• private aggregation と DP予算管理が適応的保証と実用的な再学習のトリガーを生み出す方法を示す。
• CIFAR-10、MNIST、Fashion-MNIST に対する理論解析と実験検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 デletion保証を非適応な削除要求列から適応的な削除要求列へどのように拡張できるか？
• RQ2 微分プライバシーと最大情報量を活用して、任意のモデルクラスに跨る堅牢な適応的アンラーニング保証を提供できるか？
• RQ3 適応的な削除列に直面したとき、既存の非適応削除法（例：SISA）の限界は何か？
• RQ4 性能を維持しつつ、証明可能な適応的削除保証を提供する分散/アンラーニングフレームワークをどのように設計するか？

主な発見

• 一般的な還元法により、適応的削除保証は非適応保証と内部乱睡のDPを組み合わせることで成り立つことが示される。
• Shards Data が独立して選択され、乱数が DP 保護されている場合、SISA風の分散アーキテクチャは適応保証を達成できる。
• 既存の非凸削除法は適応的削除列の下で失敗する可能性があり、DPベースの還元の必要性を示す。
• ラベルのみ設定やホワイトボックス設定におけるSISAの適応的削除の弱点が実験で明らかになり、理論的保証を超えるDPによる緩和が確認される。
• プライベート集約とDP予算管理により、完全再学習と比較して許容可能な精度トレードオフで実用的な適応的アンラーニングが可能になる。