[논문 리뷰] Quantization-Robust LLM Unlearning via Low-Rank Adaptation

João Vitor Boer Abitante, Joana Meneguzzo Pasquali외 5명|arXiv (Cornell University)|2026. 02. 13.

Advanced Neural Network Applications인용 수 0

한 줄 요약

본 논문은 기본 LLM 가중치를 고정하고 학습 가능한 저랭크 어댑터에 Forgetting 업데이트를 집중시키는 LoRA 기반 언러닝 프레임워크를 제시하여 4비트 포스트 트레이닝 양자화(PTQ) 하에서도 강인한 언러닝을 가능하게 한다.

ABSTRACT

Large Language Model (LLM) unlearning aims to remove targeted knowledge from a trained model, but practical deployments often require post-training quantization (PTQ) for efficient inference. However, aggressive low-bit PTQ can mask or erase unlearning updates, causing quantized models to revert to pre-unlearning behavior. We show that standard full-parameter fine-tuning often induce parameter changes that are too small to survive 4-bit quantization. We propose quantization-robust unlearning via low-rank adaptation (LoRA): we freeze the base model and concentrate unlearning into trainable adapters so that the effective update is preserved after quantization. On Llama-2-7B evaluated with MUSE dataset (BOOKS and NEWS), LoRA improves 4-bit utility by up to 7.93 points (NPO+GDR on BOOKS: 50.17 to 58.10) and yields higher 4-bit utility on NEWS for GA+GDR (40.06 to 44.82, increase of 4.76). LoRA also substantially reduces privacy leakage under 4-bit PTQ, e.g., for GA+KLR on BOOKS, PrivLeak moves from -25.68 to -5.86 (closer to ideal 0), while maintaining strong forgetting (VerMem and KnowMem near 0). Thus, using LoRA for Machine Unlearning is beneficial for scenarios where quantization is necessary for model deployment.

연구 동기 및 목표

• LLM이 PTQ로 배포될 때 민감한 지식의 언러닝 문제를 동기부여한다.
• 전체 매개변수 언러닝 업데이트가 4비트 PTQ의 공격적 양자화 환경에서 작은 가중치 변화로 실패하는 경우가 많음을 보인다.
• 저랭크 적응(LoRA) 기반의 언러닝 방법을 제안하여 업데이트를 집중시키고 양자화에 대해 강인성을 유지한다.
• LoRA 기반의 언러닝이 PTQ 이후 Forgetting을 보존하고 전체 미세 조정과 비교해 개인정보 유출을 감소시킨다.

제안 방법

• 기존 모델 가중치를 고정하고 선형 계층마다 학습 가능한 저랭크 어댑터(B ∈ R^{d×r}, A ∈ R^{r×k})를 도입한다.
• LoRA 항을 통해 언러닝 업데이트를 적용한다: h = W0 x + (α/r) B A x, 여기서 α는 스케일링 인자이다.
• PTQ 이전에 어댑터를 합병하여 Φ={A,B}만 최적화한다.
• 제약된 부분공간에서 더 큰 유효 업데이트를 가능하게 하는 LoRA를 통해 학습률을 높여 PTQ 경계선을 넘는다.
• 유용성을 보존하면서 Forgetting 업데이트를 집중시키기 위해 특정 모듈(예: MLP, 어텐션)을 타깃으로 한다.
• MUSE 벤치마크를 사용해 Llama-2-7B에서 BF16, 8-bit, 4-bit PTQ 하의 LoRA 기반 언러닝과 전체 매개변수 미세조정을 비교한다.

실험 결과

연구 질문

• RQ1 양자화, 특히 4비트 PTQ가 표준 전체 매개변수 미세조정으로 생성된 언러닝 업데이트를 지워버리는가?
• RQ2 LoRA로 저랭크 부분공간으로 언러닝을 제한하면 공격적 양자화 아래에서 Forgetting 신호를 보존할 수 있는가?
• RQ3 LoRA 기반 언러닝이 PTQ 하에서 Forgetting, 개인 정보 누설, 유용성 측면에서 전체 매개변수 미세조정과 어떻게 비교되는가?
• RQ4 LoRA를 사용할 때 어떤 데이터 설정(BOOKS vs NEWS)과 어떤 규제 전략(GDR, KLR)이 양자화-강인한 이점을 가장 강하게 보여주는가?
• RQ5 Forget를 극대화하고 LoRA 언러닝의 양자화 강인성을 최대화하는 실용적 하이퍼파라미터(랭크, 스케일링, 학습률)는 무엇인가?

주요 결과

• 정밀도 전체 언러닝은 4비트 PTQ 하에서 작은 업데이트가 양자화에 의해 마스킹되어 성능이 저하하는 경우가 많다.
• PTQ 이전에 어댑터를 합병한 LoRA 기반 언러닝은 4비트 양자화 이후 Forgetting 신호를 보존한다.
• BOOKS에서 LoRA는 4비트 PTQ 하에서 여러 구성(GA+GDR, GA+KLR)에서 Forgetting을 개선하고 개인정보 누출을 감소시킨다.
• NEWS에서 LoRA는 GA+GDR의 경우 4비트 유용성을 높이고 GA+KLR의 경우 전체 매개변수 미세조정 대비 유용성 하락을 줄인다.
• LoRA는 NPO 설정에서 Forgetting을 강화하고 여러 구성에서 PTQ 안정성을 보이며, 일부 설정은 전체 정밀도와 Int4 간의 지표가 거의 불변에 가까운 수준에 도달한다.
• 전반적으로 LoRA는 양자화-강인한 언러닝을 제공하며, Forgetting, 개인정보 보호, 유용성 사이의 균형을 종종 Full-FT보다 개선한다.