[論文レビュー] Evaluating Machine Unlearning via Epistemic Uncertainty

Alexander Becker, Thomas Liebig|arXiv (Cornell University)|Aug 23, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、再訓練を必要とせず、感覚的不確実性に基づいて、モデルが機密データをどれだけ忘れているかを定量化する、機械的忘却のための新規評価指標を提案する。この指標は理論的裏付けがあり、計算が効率的であり、再訓練や敵対的攻撃との比較において、特に再訓練解に近づく更新がなされるモデルでは、忘却に関連する不確実性の変化を捉え、優れた性能を示す。

ABSTRACT

There has been a growing interest in Machine Unlearning recently, primarily due to legal requirements such as the General Data Protection Regulation (GDPR) and the California Consumer Privacy Act. Thus, multiple approaches were presented to remove the influence of specific target data points from a trained model. However, when evaluating the success of unlearning, current approaches either use adversarial attacks or compare their results to the optimal solution, which usually incorporates retraining from scratch. We argue that both ways are insufficient in practice. In this work, we present an evaluation metric for Machine Unlearning algorithms based on epistemic uncertainty. This is the first definition of a general evaluation metric for Machine Unlearning to our best knowledge.

研究の動機と目的

• 機械的忘却アルゴリズムの一般的で実用的かつ理論的に妥当な評価指標の欠如に対処すること。
• 再訓練に依存する（実際には不実行可能）か、敵対的攻撃に依存する（曖昧で高コスト）という、既存の評価手法の限界を克服すること。
• 認知的および情報理論的原則に基づく、感覚的不確実性に根ざした忘却の指標を開発すること。
• 計算が効率的な指標の上界を提供し、より大きなモデルやデータセットへのスケーラビリティを実現すること。
• さまざまな忘却アプローチにおいて指標を実証的に検証し、パラメータ更新の方向に対する感受性を評価すること。

提案手法

• 感覚的不確実性に基づく有効性指標を提案し、忘れられたデータポイントにおけるモデルの信頼性の低下を測定する。
• 情報理論的原則から指標を導出し、不確実性の低下を効果的な忘却に結びつける。
• 指標の理論的上界を導入し、忘却割合にわたる分布的関係を保持することで、計算を高速化する。
• 再訓練、Fisher Forgetting、Amnesiac Unlearning の3つの忘却手法に指標を適用し、その有効性を比較する。
• メンバーシップ推定攻撃（MIAs）をベンチマークとして用い、指標が実証的な忘却成功と整合しているかを検証する。
• 対数-対数プロットを用いて、有効性とMIA成功確率の関係を分析し、異なる忘却戦略下でのモデルの挙動を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 感覚的不確実性は、機械的忘却の成功を測る信頼性があり、効率的な代理指標として機能するか？
• RQ2 提案された指標は、敵対的評価や再訓練ベースのベンチマークと比較して、実際に起こった忘却をどれだけ的確に捉えているか？
• RQ3 指標の理論的上界は、さまざまな忘却レベルにおいて意味的な分布的性質を保持しているか？
• RQ4 異なる忘却戦略（例：再訓練対比して初期モデルへのパラメータ収束）は、指標の挙動にどのように影響を与えるか？
• RQ5 有効性指標とメンバーシップ推定攻撃の成功確率との間に一貫した関係があるか？

主な発見

• 感覚的不確実性に基づく有効性指標は、忘却行動を的確に捉え、メンバーシップ推定攻撃の成功確率と相関しており、その実証的妥当性が裏付けられた。
• 指標の理論的上界は、忘却割合にわたる有効性値の分布を保持しており、忠実度を損なわず、計算を高速化できる。
• 再訓練とFisher Forgettingは、忘却度が高くなるにつれて有効性が低下し、再訓練モデルに近づく忘却が性能向上をもたらすという仮説を支持した。
• Amnesiac Unlearningは両方の仮説に反し、忘れられたデータポイントが増えるほど有効性が上昇した。これは、パラメータ更新が再訓練モデルではなく初期モデルに収束するためである。
• 結果から、パラメータ更新の方向が忘却の結果に本質的に影響を与えることが明らかになった。これは、評価指標が忘却戦略に応じてカスタマイズされるべきであることを示唆する。
• 本研究は、精度の低下や敵対的攻撃の失敗が、成功した忘却のための必要条件ではあるが十分条件ではないことを明らかにした。これにより、不確実性に基づく指標の必要性が強調された。