[論文レビュー] Certifiable Machine Unlearning for Linear Models

Ananth Mahadevan, Michael Mathioudakis|arXiv (Cornell University)|Jun 29, 2021

Machine Learning and Data Classification参考文献 23被引用数 11

ひとこと要約

本論文は、線形モデルにおける3つの最先端の近似機械学習消去手法—Fisher、Influence、DeltaGrad—の包括的な実験的評価を提示し、効率性、有効性、証明可能性の面でのトレードオフを示している。計算コストを抑えた実用的なオンライン戦略を提案し、蓄積された消去エラーが全再訓練を必要とする状況を検出するため、保守的な精度で認証差異（AccDis）を予測する線形推定器を用いている。

ABSTRACT

Machine unlearning is the task of updating machine learning (ML) models after a subset of the training data they were trained on is deleted. Methods for the task are desired to combine effectiveness and efficiency, i.e., they should effectively "unlearn" deleted data, but in a way that does not require excessive computation effort (e.g., a full retraining) for a small amount of deletions. Such a combination is typically achieved by tolerating some amount of approximation in the unlearning. In addition, laws and regulations in the spirit of "the right to be forgotten" have given rise to requirements for certifiability, i.e., the ability to demonstrate that the deleted data has indeed been unlearned by the ML model. In this paper, we present an experimental study of the three state-of-the-art approximate unlearning methods for linear models and demonstrate the trade-offs between efficiency, effectiveness and certifiability offered by each method. In implementing the study, we extend some of the existing works and describe a common ML pipeline to compare and evaluate the unlearning methods on six real-world datasets and a variety of settings. We provide insights into the effect of the quantity and distribution of the deleted data on ML models and the performance of each unlearning method in different settings. We also propose a practical online strategy to determine when the accumulated error from approximate unlearning is large enough to warrant a full retrain of the ML model.

研究の動機と目的

• 線形モデルにおける3つの主要な近似消去手法（Fisher、Influence、DeltaGrad）の、効率性、有効性、証明可能性という観点からの性能トレードオフを評価すること。
• 近似消去手法が依然として実用的である条件と、全再訓練が必要になる状況を特定すること。
• 近似消去による蓄積誤差が許容可能な閾値を超えた際に、全再訓練をトリガーするオンライン戦略を開発・検証すること。
• 多様な実世界のデータセットと削除パターンを想定した、消去手法を比較するための標準化された実験パイプラインを提供すること。
• 「忘れられる権利」を含むデータプライバシー規制への準拠を支援するため、全再訓練を伴わずに検証可能な消去を可能にすること。

提案手法

• 著者らは、3段階の統合されたMLパイプラインを実装した：初期データでの学習、訓練済みモデルを用いた推論、および学習データの一部を削除することで実行される消去。
• 6つの実世界のデータセットにおいて、異なる削除率と分布（ランダム、標的指定、標的指定-ランダム）を想定し、3つの消去手法（Fisher、Influence、DeltaGrad）を評価した。
• 主なイノベーションとして、初期モデルの正確性（AccErr_init）を用いて認証差異（AccDis）を予測する線形推定器を導入し、消去品質のリアルタイム評価を可能にした。
• 閾値に基づくオンライン戦略を採用：予測されたAccDisが事前に定義された限界を超えると、残存データに対する全再訓練がトリガーされる。
• 推定器は実データを用いてキャリブレーションされ、データセット全体にわたるAccErr_initとAccDisの間の相関分析（ピアソンおよびスピアマン）により検証された。
• 性能はテスト精度、消去時間、および推定器の予測誤差（平均二乗誤差（MSE）など）を指標として測定した。

実験結果

リサーチクエスチョン

• RQ1 Fisher、Influence、DeltaGradという3つの消去手法は、多様なデータセットおよび削除パターンにおいて、効率性、有効性、証明可能性の観点でどのように比較されるか？
• RQ2 初期モデルの正確性（AccErr_init）と認証差異（AccDis）の関係は何か？ そして、この関係は再訓練意思決定を支援するために信頼性高く推定可能か？
• RQ3 近似消去による蓄積誤差が、証明可能性要件を満たせなくなるまでの閾値に達するのはどの段階か？
• RQ4 軽量でリアルタイムな推定器は、過度な計算コストを回避するために、全再訓練が必要なタイミングを正確に予測できるか？
• RQ5 削除率やデータ分布（例：ランダム対標的指定）は、消去手法の性能および信頼性にどのように影響を与えるか？

主な発見

• FisherおよびInfluence手法は高い効率性と強力な有効性を達成しており、全再訓練に比べて顕著な高速化を実現しながらも、良好な正確性を維持している。
• DeltaGradは安定した性能を示すが、FisherおよびInfluenceに比べて速度および正確性の点でやや劣っている。
• ほとんどのデータセットでAccErr_initとAccDisの間に強い正の相関（ピアソン相関係数 r > 0.9）が観察され、AccDisの線形推定器の使用が有効であることを裏付けた。
• 提案されたAccDis用の線形推定器は、大多数のデータセットで低い平均二乗誤差（MSE < 50）を示したが、Higgs（MSE = 2445.24）およびCovtype（MSE = 427.77）では分散が高く相関が低いため、誤差が大きくなった。
• オンライン再訓練トリガー戦略は、消去誤差が許容可能な水準を超えた際に効果的に検出できており、保守的な過剰推定により準拠性が保証された。
• 本研究は、証明可能性と有効性の間にトレードオフが存在することを確認した：削除されたデータを処理することでモデルの正確性が低下するが、本手法は適切なタイミングでの再訓練によりこのトレードオフをバランスした。