[論文レビュー] Statistical Roughness-Informed Machine Unlearning

Mohammad Partohaghighi, Roummel F. Marcia+2 more|arXiv (Cornell University)|Feb 10, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

tldr: SRAGU は層ごとの更新の統計的粗さに基づく重尾スペクトルを用いた適応的勾配学習からの忘却モジュレーションを拡張し、削除時の金色再訓練モデルへの忠実性と安定性を改善する。

ABSTRACT

Machine unlearning aims to remove the influence of a designated forget set from a trained model while preserving utility on the retained data. In modern deep networks, approximate unlearning frequently fails under large or adversarial deletions due to pronounced layer-wise heterogeneity: some layers exhibit stable, well-regularized representations while others are brittle, undertrained, or overfit, so naive update allocation can trigger catastrophic forgetting or unstable dynamics. We propose Statistical-Roughness Adaptive Gradient Unlearning (SRAGU), a mechanism-first unlearning algorithm that reallocates unlearning updates using layer-wise statistical roughness operationalized via heavy-tailed spectral diagnostics of layer weight matrices. Starting from an Adaptive Gradient Unlearning (AGU) sensitivity signal computed on the forget set, SRAGU estimates a WeightWatcher-style heavy-tailed exponent for each layer, maps it to a bounded spectral stability weight, and uses this stability signal to spectrally reweight the AGU sensitivities before applying the same minibatch update form. This concentrates unlearning motion in spectrally stable layers while damping updates in unstable or overfit layers, improving stability under hard deletions. We evaluate unlearning via behavioral alignment to a gold retrained reference model trained from scratch on the retained data, using empirical prediction-divergence and KL-to-gold proxies on a forget-focused query set; we additionally report membership inference auditing as a complementary leakage signal, treating forget-set points as should-be-forgotten members during evaluation.

研究の動機と目的

• 深層ネットワークにおけるレイヤーごとのヘテロジニティと最適化幾何に鑑みたロバストな機械的忘却の必要性を動機づける。
• SRAGU を開発し、スペクトル診断から推定される層の安定性に基づいて忘却更新を再重み付けする機構ベースの忘却アルゴリズムを提案する。
• retaining データ上の有用性を維持しつつ、忘却集合の影響を効果的に除去する。
• スペクトル診断を既存の AGU ワークフローへ組み込む実装可能な方法論を提供する。

提案手法

• Adaptive Gradient Unlearning (AGU) を基に、忘却集合からパラメータ感度を計算する。
• 各レイヤーの重み Gram 行列 C_l の固有値のトップからレイヤーごとのヘビーテール指数 ξl を推定する。
• ξl を適切な範囲内のゲートで滑らかに変換して有界なスペクトル安定性重み νl に写像する。
• スペクトル的に感度感度を再重み付けするために、R_j に ν_l(j) を掛けて標準の minibatch 更新を適用する前処理を行う。
• スペクトル的に再重み付けされた感度を用いて AGU と同じ忘却更新形式を適用する。
• パラメータのドリフト閾値を下回るか、最大ステップ数に達した時点で停止するドリフトベースの停止ルールを使用する。

実験結果

リサーチクエスチョン

• RQ1 層ごとの安定性は深層ネットの忘却更新の安全な配分をどう支援できるか？
• RQ2 スペクトル診断を忘却に組み込むと忘却の忘却を抑制し、金色再訓練モデルとの整合性を改善するか？
• RQ3 SRAGU はさまざまな削除戦略下で保持データの精度を維持しつつ忘却集合の影響を効果的に除去できるか？
• RQ4 SRAGU を用いた場合の既存ベースラインと比較した実用的な効率性とプライバシー指標の改善はどれくらいか？

主な発見

• SRAGU はスペクトル的に安定な層へ忘却運動を集中させ、安定でないまたは過剰適合した層での更新を抑制する。
• 削除要求の下で、SRAGU は AGU や他のベースラインに比べて安定性と金色モデルとの整合性を改善する。
• SRAGU は保持精度を維持または向上させつつ、忘却集合での予測発散と金色モデルへの KL 発散を低減する。
• 実験は複数のデータセット（MNIST、CIFAR-10/100、UCI Adult）と削除戦略をカバーし、ロバストな性能向上を示す。
• 層ごとの診断は、スペクトル安定性と相関した更新配分を示し、提案メカニズムを支持する。