[論文レビュー] Roots Beneath the Cut: Uncovering the Risk of Concept Revival in Pruning-Based Unlearning for Diffusion Models

Ci Zhang, Zhaojun Ding+8 more|arXiv (Cornell University)|Feb 28, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

本論文は拡散モデルの剪定ベースのアンラーニングにおけるセキュリティ脆弱性を明らかにし、剪定された重みの位置が概念情報を漏らし、 erased 概念のデータなし復活を可能にすることを示す。また、ガウス雑音による混乱防御を提案する。

ABSTRACT

Pruning-based unlearning has recently emerged as a fast, training-free, and data-independent approach to remove undesired concepts from diffusion models. It promises high efficiency and robustness, offering an attractive alternative to traditional fine-tuning or editing-based unlearning. However, in this paper we uncover a hidden danger behind this promising paradigm. We find that the locations of pruned weights, typically set to zero during unlearning, can act as side-channel signals that leak critical information about the erased concepts. To verify this vulnerability, we design a novel attack framework capable of reviving erased concepts from pruned diffusion models in a fully data-free and training-free manner. Our experiments confirm that pruning-based unlearning is not inherently secure, as erased concepts can be effectively revived without any additional data or retraining. Extensive experiments on diffusion-based unlearning based on concept related weights lead to the conclusion: once the critical concept-related weights in diffusion models are identified, our method can effectively recover the original concept regardless of how the weights are manipulated. Finally, we explore potential defense strategies and advocate safer pruning mechanisms that conceal pruning locations while preserving unlearning effectiveness, providing practical insights for designing more secure pruning-based unlearning frameworks.

研究の動機と目的

• 拡散モデルのアンラーニングにおけるプライバシーと安全性の懸念を、巨大な学習データと機微な概念の観点から動機づける。
• 剪定位置、符号、または剪定後の重みの大きさが回復可能な情報を保持するかを調査する。
• データなし・トレーニングなしの攻撃で、剪定痕跡を悪用して erased 概念を復活させる。
• アンラーニングの性能を損なうことなく剪定痕跡を隠す防御策を提案する。

提案手法

• 剪定重量の符号と大きさの重要性が概念復活に与える影響を分析する。
• Low-rank Matrix Completion、Top-K Sign Retention、Neuron-Max Scaling (NMS) の3要素からなる復活フレームワークを開発する。
• 欠落した重みの符号を推定するために SoftImpute に基づく低ランク行列補完を用いる。
• Top-K Sign Retention を適用して高信頼度の符号を保持し、他をゼロに設定し、次に neuron の大きさを最大化する NMS を適用する。
• 剪定を防ぐためにガウス雑音で剪定重みを置換する防御として Gaussian Obfuscation を導入し、その剪定有効性と検出可能性への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 データや再訓練なしで、攻撃者が剪定位置のみを与えられた場合、 erased 重みの符号を回復し erased 概念を復活させることができるか。
• RQ2 剪定された拡散モデルにおける概念復活において、重みの符号と大きさはどのように寄与するか。
• RQ3 大幅な方法を用いず、剪定痕跡を覆い隠しつつアンラーニングの性能を大きく損なわない防御戦略は何か。
• RQ4 ガウスベースの剪定防御を用いて、隠蔽とアンラーニングの有効性をバランスさせることは可能か。

主な発見

• データなし・トレーニングなしの復活フレームワークは、剪定重みの符号の70%以上を回復できる。
• erased 概念は再訓練なしで substantial accuracy を回復できる（平均8%から54%へ）を示す。
• 復活の有効性は object のアンラーニング、芸術スタイルのアンラーニング、NSFWコンテンツのアンラーニングのタスクで示される。
• Top-K Sign Retention と Neuron-Max Scaling は剪定後に影響力のある活性化パターンを信頼性高く再構成する。
• Gaussian obfuscation は剪定位置を隠す実用的な防御を提供しつつ、アンラーニング性能を controllableなトレードオフの範囲内で維持する。