[논문 리뷰] Machine Unlearning via Algorithmic Stability

Enayat Ullah, Tung Mai외 3명|arXiv (Cornell University)|2021. 02. 25.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 기계학습에서 정확한 언러닝을 가능하게 하는 새로운 알고리즘적 안정성 개념인 총변동(Total Variation, TV) 안정성을 도입한다. 노이즈가 있는 확률적 경사하강법(Stochastic Gradient Descent, SGD) 기반의 TV-안정 학습 알고리즘을 제안하며, 마르코프 체인의 최대 결합(maximal coupling)을 통해 효율적인 언러닝을 실현하여 재학습 런타임 이하로 정확한 언러닝을 달성하고, 볼록 및 비볼록 문제에 대해 강력한 일반화 보장을 제공하며, 차별적 프라이버시까지 확보한다.

ABSTRACT

We study the problem of machine unlearning and identify a notion of algorithmic stability, Total Variation (TV) stability, which we argue, is suitable for the goal of exact unlearning. For convex risk minimization problems, we design TV-stable algorithms based on noisy Stochastic Gradient Descent (SGD). Our key contribution is the design of corresponding efficient unlearning algorithms, which are based on constructing a (maximal) coupling of Markov chains for the noisy SGD procedure. To understand the trade-offs between accuracy and unlearning efficiency, we give upper and lower bounds on excess empirical and populations risk of TV stable algorithms for convex risk minimization. Our techniques generalize to arbitrary non-convex functions, and our algorithms are differentially private as well.

연구 동기 및 목표

• 모델 학습 이후 데이터 편집(삭제/삽입)이 발생할 경우에도 효율적이고 정확한 언러닝을 달성하는 데 도전하는 데 목적을 두며.
• 특정 데이터 포인트가 존재하지 않았다는 것처럼 데이터 편집을 반영할 수 있도록 보장하는 새로운 알고리즘적 안정성 개념인 총변동(Total Variation, TV) 안정성을 체계화하는 데 목적을 두며.
• 계산적으로 효율적(전체 재학습보다 빠름)이고 정확하며, 모델 정확도와 프라이버시를 유지하는 언러닝 알고리즘을 설계하는 데 목적을 두며.
• 볼록 리스크 최소화 문제에서 TV-안정 알고리즘의 초과 경험 위험과 초과 인구 위험에 대한 이론적 경계를 수립하는 데 목적을 두며.
• 프레임워크를 비볼록 문제로 일반화하고, 그 결과로 도출된 알고리즘들이 차별적 프라이버시를 달성할 수 있음을 보여주는 데 목적을 두며.

제안 방법

• 특정 데이터 포인트가 존재하지 않았을 경우와 출력 분포가 구분 불가능하도록 보장하는 공식적 안정성 기준으로 총변동(Total Variation, TV) 안정성을 제안한다.
• 주어진 데이터 편집에 대해 안정성을 확보하기 위해 노이즈가 있는 확률적 경사하강법(Stochastic Gradient Descent, SGD)을 사용하는 TV-안정 학습 알고리즘을 설계한다.
• 마르코프 체인의 최대 결합을 활용하여, 다시 시작하지 않고도 재학습 효과를 시뮬레이션하는 효율적인 언러닝 알고리즘을 구성한다.
• 최적 운반 이론을 활용하여 TV 안정성에 대한 이론적 경계를 유도하고, 이를 차별적 프라이버시와 연결한다.
• 적절한 노이즈와 샘플링 전략을 통해 로지스틱 회귀 등 볼록 ERM 문제에 적용하고, 비볼록 설정으로 확장한다.
• 일반적인 언러닝 파이프라인 제공: 노이즈로 학습한 후 결합을 통한 언러닝을 수행하여 정확성과 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 모든 매끄러운 볼록 ERM 문제에 대해 전체 재학습 없이도 일반적인 언러닝 프레임워크를 설계할 수 있는가?
• RQ2 정확한 언러닝을 유지하면서도 모델 정확도와 계산 효율성을 확보할 수 있는 알고리즘적 안정성 개념은 무엇인가?
• RQ3 특히 SGD와 같은 순차적 알고리즘의 경우, 확률 과정의 결합을 통해 언러닝 업데이트를 효율적으로 계산할 수 있는가?
• RQ4 TV-안정 알고리즘에서 언러닝 효율성, 모델 정확도, 프라이버시 간의 이론적 트레이드오프는 무엇인가?
• RQ5 TV-안정 알고리즘은 비볼록 문제로 확장될 수 있으며, 여전히 차별적 프라이버시를 달성할 수 있는가?

주요 결과

• 노이즈가 있는 SGD를 통한 제안된 TV-안정 학습 알고리즘은 재학습 런타임보다 훨씬 작은 언러닝 런타임으로 정확한 언러닝을 달성하며, 특히 노이즈 분산을 적절히 조정할 경우 더욱 두드러진다.
• 마르코프 체인의 최대 결합 기반 언러닝 알고리즘은 언러닝 후 모델이 삭제된 데이터 없이 다시 학습한 모델과 통계적으로 구분 불가능함을 보장한다.
• 볼록 ERM의 경우 초과 경험 위험은 $ Oig(rac{GD ilde{d} ilde{ ext{log}}(1/ ho ilde{ ho})}{n ho ilde{ ho}}ig) $로 경계지어지며, 여기서 $ ho $는 언러닝 파라미터를 제어한다. 이는 정확도와 언러닝 효율성 사이의 트레이드오프를 보여준다.
• 프레임워크는 비볼록 문제로 일반화되며, 그 결과로 도출된 알고리즘은 차별적 프라이버시를 달성한다. 언러닝 메커니즘은 기반 노이즈가 있는 SGD로부터 프라이버시 보장을 유산한다.
• MNIST에 대한 실험 결과, 학습 단계에서 노이즈 분산을 증가시키면 불안정한 편집(즉, 재학습 트리거) 수가 감소하고도 높은 테스트 정확도를 유지함을 확인하여 실용적 효율성을 입증한다.
• 저프라이버시 환경(작은 $ ho $)에서 동일한 런타임 제약 조건 하에 동일한 언러닝 비용에서 기존 작업보다 정확도 면에서 본 논문의 방법이 뛰어나다는 것을 보였다.