[論文レビュー] Why Some Models Resist Unlearning: A Linear Stability Perspective

Wei-Kai Chang, Rajiv Khanna|arXiv (Cornell University)|Feb 3, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は機械的なアンラーニングの線形安定性フレームワークを開発し、データの整合性指標を導入して、特定データの忘却が収束するか発散するかを予測し、 memorization が直感に反して忘却を容易にすることを示す。 retain/forget の相互作用を結合し、ヘッセ行列分析とCNNヒートマップで予測を検証する。

ABSTRACT

Machine unlearning, the ability to erase the effect of specific training samples without retraining from scratch, is critical for privacy, regulation, and efficiency. However, most progress in unlearning has been empirical, with little theoretical understanding of when and why unlearning works. We tackle this gap by framing unlearning through the lens of asymptotic linear stability to capture the interaction between optimization dynamics and data geometry. The key quantity in our analysis is data coherence which is the cross sample alignment of loss surface directions near the optimum. We decompose coherence along three axes: within the retain set, within the forget set, and between them, and prove tight stability thresholds that separate convergence from divergence. To further link data properties to forgettability, we study a two layer ReLU CNN under a signal plus noise model and show that stronger memorization makes forgetting easier: when the signal to noise ratio (SNR) is lower, cross sample alignment is weaker, reducing coherence and making unlearning easier; conversely, high SNR, highly aligned models resist unlearning. For empirical verification, we show that Hessian tests and CNN heatmaps align closely with the predicted boundary, mapping the stability frontier of gradient based unlearning as a function of batching, mixing, and data/model alignment. Our analysis is grounded in random matrix theory tools and provides the first principled account of the trade offs between memorization, coherence, and unlearning.

研究の動機と目的

• 機械的なアンラーニングを経験的手法を超えて原理的に理解する必要性を動機づける。
• 事前学習済みのミニマムを中心に線形安定性フレームワークを開発し、忘却ダイナミクスを解析する。
• 保持集合と忘却集合の相互作用を定量化するコヒーレンスベースの指標を導入する。
• 信号＋ノイズデータモデルを通じて memorization/ memorization 強度と忘却可能性を結びつける。
• 勾配降下ベースのアンラーニングが収束するか発散するかの理論的閾値と経験的検証を提供する。

提案手法

• 最適点 w* 周りで SGD ダイナミクスを線形化し、更新を w_{k+1} = J_k w_k をランダム混合演算子 J_k でモデル化する。
• データを保持データと忘却データに分解し、保持データでの下降と忘却データでの上昇を行う混合更新則を導出する。
• 混合ヘッセ行列 D と混合コヒーレンス S を定義し、横断集合の曲率相互作用と整列を捉える。
• コヒーレンス σ と混合ヘッセ行列の固有値の観点から安定性閾値（発散条件と収束条件）を確立する。
• 信号＋ノイズデータモデルの下で二層 ReLU CNN を解析し、 memorization（低 SNR）と忘却の容易さの関係を示す。
• ヘッセ解析と CNN ヒートマップによる経験的検証を提供し、予測された安定境界と整合する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みミニマム付近で勾配ベースのアンラーニングが収束するか発散するかの正確な条件は何か。
• RQ2 保持データと忘却データの相互作用（保持コヒーレンスと忘却コヒーレンス）はアンラーニングの安定性にどう影響するか。
• RQ3 データの幾何学とコヒーレンスはモデルの記憶傾向と忘却可能性にどう関係するか。
• RQ4 バッチサイズ、忘却強度、混合などのアルゴリズム的選択はアンラーニングの安定性境界にどう影響するか。
• RQ5 経験的指標（ヘッセスペクトラム、忘却/保持ヒートマップ）は提案された安定境界を裏付けるか。

主な発見

• データコヒーレンスと混合ヘッセ固有値に基づく安定境界が、収束（安定）と発散（不安定）を分ける。
• 混合ヘッセ固有値がコヒーレンス依存閾値を超えると発散が生じ、対応する境界以下では収束が可能。
• memorization が強いほど（SNR が低いほど）サンプル横断勾配コヒーレンスが小さくなり、安定した忘却領域が広がりアンラーニングが容易になる。
• 保持方向と忘却方向の高いコヒーレンスは更新方向を整列させ、元のミニマムからの脱出を困難にして忘却を阻害する。
• ヘッセ検査と CNN ヒートマップを用いた経験的分析は、バッチ処理とデータ/モデルの整合性を変えた場合でも予測境界と整合性を示す。
• memorization、データ幾何学、アンラーニングダイナミクスの principled な結びつきを提供する。