[論文レビュー] Machine Unlearning via Algorithmic Stability

Enayat Ullah, Tung Mai+3 more|arXiv (Cornell University)|Feb 25, 2021

Stochastic Gradient Optimization Techniques参考文献 26被引用数 4

ひとこと要約

この論文は、機械学習における正確なアンラーニングを可能にする、新たなアルゴリズム的安定性の概念として、全変動（TV）安定性を導入する。ノイズ付き確率的勾配降下法（SGD）に基づくTV安定学習アルゴリズムを提案し、マルコフ連鎖の最大結合を用いて効率的なアンラーニングを実現。再トレーニング時間未満の実行時間で正確なアンラーニングを達成し、凸および非凸問題において強力な一般化保証と微分プライバシーを実現する。

ABSTRACT

We study the problem of machine unlearning and identify a notion of algorithmic stability, Total Variation (TV) stability, which we argue, is suitable for the goal of exact unlearning. For convex risk minimization problems, we design TV-stable algorithms based on noisy Stochastic Gradient Descent (SGD). Our key contribution is the design of corresponding efficient unlearning algorithms, which are based on constructing a (maximal) coupling of Markov chains for the noisy SGD procedure. To understand the trade-offs between accuracy and unlearning efficiency, we give upper and lower bounds on excess empirical and populations risk of TV stable algorithms for convex risk minimization. Our techniques generalize to arbitrary non-convex functions, and our algorithms are differentially private as well.

研究の動機と目的

• モデルのトレーニング後、データ編集（削除／挿入）が発生する状況において、効率的かつ正確なアンラーニングを実現する課題に対処すること。
• 特定のデータポイントが存在しなかったかのように、モデルを更新できるよう保証する新たなアルゴリズム的安定性の概念——全変動（TV）安定性——を形式化すること。
• 計算的に効率的（完全な再トレーニングより速い）かつ正確なアンラーニングを実現するアルゴリズムを設計し、モデルの精度とプライバシーを維持すること。
• 凸リスク最小化におけるTV安定アルゴリズムの超過経験的リスクおよび母集団リスクの理論的境界を確立すること。
• 非凸問題へとフレームワークを一般化し、その結果得られるアルゴリズムが微分プライバシーを満たすことを示すこと。

提案手法

• 学習アルゴリズムの出力分布が、特定のデータポイントが存在しない状況で学習されたモデルと区別できないことを保証する、形式的な安定性基準として全変動（TV）安定性を提唱する。
• 注入されたノイズにより、データ編集に対して安定性を確保する、ノイズ付き確率的勾配降下法（SGD）を用いたTV安定学習アルゴリズムを設計する。
• マルコフ連鎖の最大結合を用いて、再計算を再び行わずに再トレーニングの効果を模倣する、効率的なアンラーニングアルゴリズムを構築する。
• 最適輸送理論を用いてTV安定性の理論的境界を導出し、微分プライバシーと関連付ける。
• 適切なノイズとサンプリング戦略を用いて、凸ERM問題（例：ロジスティック回帰）に適用し、非凸設定へと拡張する。
• 一般化されたアンラーニングパイプラインを提供：ノイズを用いて学習し、次に結合を用いてアンラーニングすることで、正確性と効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 任意の滑らかな凸ERM問題に対して、完全な再トレーニングを伴わずに正確なアンラーニングを保証する汎用的なアンラーニングフレームワークを設計できるか？
• RQ2 正確なアンラーニングを実現しつつ、モデルの精度と計算効率を維持できるアルゴリズム的安定性の概念は何か？
• RQ3 特にSGDのような逐次的アルゴリズムにおいて、確率過程の結合を用いて、どのように効率的にアンラーニング更新を計算できるか？
• RQ4 TV安定アルゴリズムにおいて、アンラーニングの効率性、モデルの精度、プライバシーの間の理論的トレードオフは何か？
• RQ5 TV安定アルゴリズムを非凸問題へと拡張しても、依然として微分プライバシーを達成できるか？

主な発見

• ノイズ付きSGDによる提案されたTV安定学習アルゴリズムは、完全な再トレーニングよりも著しく短いアンラーニング実行時間で正確なアンラーニングを達成し、ノイズ分散を適切に調整することでその効果が顕著になる。
• 最大結合を用いたアンラーニングアルゴリズムにより、削除されたデータを含まないモデルから再トレーニングした場合と、統計的に区別できないモデルが得られる。
• 凸ERMでは、超過経験的リスクが $ Oig(rac{GD ilde{d} ilde{ ext{log}}(1/ ho ilde{ ho})}{n ho ilde{ ho}}ig) $ で有界であり、$ ho $ がアンラーニングパラメータを制御する。これは、精度とアンラーニング効率の間のトレードオフを示している。
• このフレームワークは非凸問題へと一般化可能であり、微分プライバシーを満たすモデルを生成する。アンラーニング機構は、元のノイズ付きSGDから得られるプライバシー保証を継承する。
• MNISTにおける実験では、学習段階でのノイズ分散を増加させることで、不安定な編集（すなわち、再トレーニングの必要性）の回数が減少する一方で、高いテスト精度を維持する。実用的な効率性が実証された。
• 低プライバシー領域（$ ho $ が小さい）において、同じ実行時間制約下で、同様のアンラーニングコストにおいて、先行研究を上回る精度を達成する。