[論文レビュー] Quantization-Robust LLM Unlearning via Low-Rank Adaptation

João Vitor Boer Abitante, Joana Meneguzzo Pasquali+5 more|arXiv (Cornell University)|Feb 13, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

要約: 論文は、ベースのLLMの重みを凍結し、忘却更新を訓練可能な低ランクアダプターに集中させる LoRA ベースの忘却フレームワークを提案し、4-bit ポストトレーニング量子化（PTQ）下で堅牢な忘却を実現する。

ABSTRACT

Large Language Model (LLM) unlearning aims to remove targeted knowledge from a trained model, but practical deployments often require post-training quantization (PTQ) for efficient inference. However, aggressive low-bit PTQ can mask or erase unlearning updates, causing quantized models to revert to pre-unlearning behavior. We show that standard full-parameter fine-tuning often induce parameter changes that are too small to survive 4-bit quantization. We propose quantization-robust unlearning via low-rank adaptation (LoRA): we freeze the base model and concentrate unlearning into trainable adapters so that the effective update is preserved after quantization. On Llama-2-7B evaluated with MUSE dataset (BOOKS and NEWS), LoRA improves 4-bit utility by up to 7.93 points (NPO+GDR on BOOKS: 50.17 to 58.10) and yields higher 4-bit utility on NEWS for GA+GDR (40.06 to 44.82, increase of 4.76). LoRA also substantially reduces privacy leakage under 4-bit PTQ, e.g., for GA+KLR on BOOKS, PrivLeak moves from -25.68 to -5.86 (closer to ideal 0), while maintaining strong forgetting (VerMem and KnowMem near 0). Thus, using LoRA for Machine Unlearning is beneficial for scenarios where quantization is necessary for model deployment.

研究の動機と目的

• PTQ でデプロイされた LLM における敏感知識の忘却問題を動機づける。
• 大幅な 4-bit PTQ の下で、全パラメータ更新が小さな重み変化のため失敗しがちであることを示す。
• 更新を局所化し量子化に対して堅牢な LoRA ベースの忘却方法を提案する。
• LoRA ベースの忘却は忘却を保持し、PTQ 後のプライバシー漏洩を全パラメータ微調整より低減することを示す。

提案手法

• 基礎モデルの重みを凍結し、各線形層ごとに訓練可能な低ランクアダプタを導入する（B in R^{d×r}, A in R^{r×k}）。
• 忘却更新を LoRA 項を介して適用する：h = W0 x + (α/r) B A x、α はスケーリング係数。
• PTQ の前にアダプタを基モデルへマージしつつ、Φ={A,B} のみを最適化する。
• 制約されたサブ空間での学習率を高くすることで、LoRA により実効的な更新を増大させ、PTQ の境界を跨ぐことを可能にする。
• ユーティリティを保持しつつ忘却アップデートを集中させるため、特定のモジュール（例：MLP、アテンション）を対象とする。
• LoRA ベースの忘却を、MUSE ベンチマークを用いた Llama-2-7B で BF16、8-bit、4-bit PTQ の下で全パラメータ微調整と比較する。

実験結果

リサーチクエスチョン

• RQ1 量子化、特に 4-bit PTQ が、標準的な全パラメータ微調整で生じる忘却更新を抑制してしまうのか？
• RQ2 低ランクサブスペース（LoRA）に忘却を制限することで、過度な量子化下で忘却信号を保持できるのか？
• RQ3 LoRA ベースの忘却は、PTQ 下での忘却・プライバシー漏洩・ユーティリティの点で全パラメータ微調整とどう異なるか？
• RQ4 データ設定（BOOKS vs NEWS）と正則化戦略（GDR、KLR） の中で、LoRA を用いた場合、量子化耐性が最も強く現れる組み合わせはどれか？
• RQ5 LoRA 忘却の量子化耐性を最大化する実用的なハイパーパラメータ（ランク、スケーリング、学習率）は何か？

主な発見

• 全精度忘却は、4-bit PTQ 下で小さな更新が量子化によってマスクされるためしばしば劣化する。
• PTQ の前にアダプタをマージした LoRA 忘却は、4-bit 量子化後も忘却信号を保持する。
• BOOKS では、LoRA はいくつかの構成（例：GA+GDR、GA+KLR）で 4-bit PTQ 下の忘却を改善し、プライバシー漏洩を低減。
• NEWS では、GA+GDR に対して 4-bit ユーティリティが高く、GA+KLR に対するユーティリティ低下を全パラメータ微調整と比較して抑制。
• LoRA は NPO 設定で忘却を強化し、複数の構成で PTQ 安定性を示し、いくつかの設定で全精度と Int4 の間で指標のほぼ不変性を達成。
• 総じて、LoRA は量子化耐性のある忘却を提供し、忘却・プライバシー・ユーティリティのバランスを全 FT より改善する場合がある。