[논문 리뷰] Statistical Roughness-Informed Machine Unlearning

Mohammad Partohaghighi, Roummel F. Marcia외 2명|arXiv (Cornell University)|2026. 02. 10.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

SRAGU는 헤비테일 스펙트럼으로부터 도출한 통계적 거칠기로 계층별 언러닝 업데이트를 조절하여 Adaptive Gradient Unlearning을 확장하고, 삭제 상황에서 골드 재학습 모델에 대한 안정성과 충실도를 개선합니다.

ABSTRACT

Machine unlearning aims to remove the influence of a designated forget set from a trained model while preserving utility on the retained data. In modern deep networks, approximate unlearning frequently fails under large or adversarial deletions due to pronounced layer-wise heterogeneity: some layers exhibit stable, well-regularized representations while others are brittle, undertrained, or overfit, so naive update allocation can trigger catastrophic forgetting or unstable dynamics. We propose Statistical-Roughness Adaptive Gradient Unlearning (SRAGU), a mechanism-first unlearning algorithm that reallocates unlearning updates using layer-wise statistical roughness operationalized via heavy-tailed spectral diagnostics of layer weight matrices. Starting from an Adaptive Gradient Unlearning (AGU) sensitivity signal computed on the forget set, SRAGU estimates a WeightWatcher-style heavy-tailed exponent for each layer, maps it to a bounded spectral stability weight, and uses this stability signal to spectrally reweight the AGU sensitivities before applying the same minibatch update form. This concentrates unlearning motion in spectrally stable layers while damping updates in unstable or overfit layers, improving stability under hard deletions. We evaluate unlearning via behavioral alignment to a gold retrained reference model trained from scratch on the retained data, using empirical prediction-divergence and KL-to-gold proxies on a forget-focused query set; we additionally report membership inference auditing as a complementary leakage signal, treating forget-set points as should-be-forgotten members during evaluation.

연구 동기 및 목표

• 계층별 이질성과 최적화 기하학을 감안할 때 심층 신경망에서 강건한 머신 언러링의 필요성을 동기 부여한다.
• 스펙트럴 진단으로 추정된 계층 안정성에 따라 언러닝 업데이트의 가중치를 재조정하는 메커니즘 우선의 언러닝 알고리즘인 SRAGU를 개발한다.
• 잊혀진 세트의 영향을 효과적으로 제거하면서 보유 데이터의 유용성을 유지한다.
• 스펙트럴 진단을 기존 AGU 워크플로우에 통합하는 구현 가능 방법론을 제공한다.

제안 방법

• 잊혀진 집합으로부터 매개변수 민감도를 계산하기 위해 Adaptive Gradient Unlearning (AGU)을 기반으로 한다.
• 각 계층의 가중치 그램 행렬 C_l의 상위 고윳값들로부터 계층별 헤비테일 지수 ξl을 추정한다.
• ξl을 매끄러운 구간 게이트를 사용하여 한정된 스펙트럴 안정성 가중치 νl로 매핑한다.
• 표준 미니배치 업데이트를 적용하기 전에 Rj에 νl(j)를 곱해 스펙트럼적으로 AGU 민감도를 재가중한다.
• 스펙트럴 재가중된 민감도를 사용하여 AGU와 동일한 언러닝 업데이트 형태를 적용한다.
• 매개변수 드리프트가 임계값 아래로 떨어지거나 최대 스텝 수에 도달하면 중지하는 드리프트 기반 정지 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 계층별 안정성이 심층 신경망에서 안전한 언러닝 업데이트 할당에 어떻게 정보를 제공할 수 있는가?
• RQ2 언러닝에 스펙트럴 진단을 도입하면 망각을 줄이고 골드 재학습 모델과의 정합성을 향상시킬 수 있는가?
• RQ3 다양한 삭제 전략에서 SRAGU가 기억된 데이터의 정확도를 유지하면서 forget 세트의 영향을 효과적으로 제거할 수 있는가?
• RQ4 기존 기준선에 비해 SRAGU를 사용할 때 얻는 실용적 효율성 및 프라이버시 신호의 이점은 무엇인가?

주요 결과

• SRAGU는 스펙트럼적으로 안정적인 계층에서 언러닝 모션을 집중시키고 불안정하거나 과적합된 계층의 업데이트를 완화한다.
• 삭제 요청하에서 SRAGU는 AGU 및 다른 기준선에 비해 안정성과 골드 모델 정합성을 향상시킨다.
• SRAGU는 잃어버린 세트에 대한 예측 발산과 골드 모델에 대한 KL 발산을 줄이면서 보유 정확도를 유지하거나 향상시킨다.
• 실험은 여러 데이터세트(MNIST, CIFAR-10/100, UCI Adult)와 다양한 삭제 전략을 다루며 강건한 성능 향상을 입증한다.
• 계층별 진단은 스펙트럼 안정성과 업데이트 할당의 상관관계를 보여주며 제안된 메커니즘을 뒷받침한다.