[논문 리뷰] Knowledge Removal in Sampling-based Bayesian Inference

Shaopeng Fu, Fengxiang He외 1명|arXiv (Cornell University)|2022. 03. 24.

Bayesian Methods and Mixture Models인용 수 5

한 줄 요약

이 논문은 마르코프 체인 몬테카를로(MCMC)를 사용한 샘플링 기반 베이지안 추론을 위한 최초의 머신 언리닝 알고리즘을 제안한다. KL 발산 근사화를 통해 암묵적인 사후분포를 명시적인 최적화 문제로 변환한다. 특정 데이터로부터의 지식을 정량화하고 제거하기 위해 MCMC 영향도를 도입하며, 증명 가능한 $\varepsilon$-지식 제거와 일반화 성능에 미치는 영향 최소화를 입증한다. 가우시안 혼합 모델과 베이지안 신경망에서 최신 기술 수준의 성능을 확보하였다.

ABSTRACT

The right to be forgotten has been legislated in many countries, but its enforcement in the AI industry would cause unbearable costs. When single data deletion requests come, companies may need to delete the whole models learned with massive resources. Existing works propose methods to remove knowledge learned from data for explicitly parameterized models, which however are not appliable to the sampling-based Bayesian inference, i.e., Markov chain Monte Carlo (MCMC), as MCMC can only infer implicit distributions. In this paper, we propose the first machine unlearning algorithm for MCMC. We first convert the MCMC unlearning problem into an explicit optimization problem. Based on this problem conversion, an {\it MCMC influence function} is designed to provably characterize the learned knowledge from data, which then delivers the MCMC unlearning algorithm. Theoretical analysis shows that MCMC unlearning would not compromise the generalizability of the MCMC models. Experiments on Gaussian mixture models and Bayesian neural networks confirm the effectiveness of the proposed algorithm. The code is available at \url{https://github.com/fshp971/mcmc-unlearning}.

연구 동기 및 목표

• 모델 재학습이 고비용을 수반하는 데이터 삭제 후 '잊혀질 권리'의 법적 및 계산적 과제를 해결하기 위해.
• 기존 언리닝 방법이 명시적으로 파arameterized된 모델을 필요로 하여 MCMC와 같은 샘플링 기반 베이지안 추론에 적용되지 못하는 한계를 극복하기 위해.
• 암묵적인 사후분포를 추론하는 MCMC에서 지식 제거를 가능하게 하기 위해 언리닝 문제를 명시적인 최적화 작업으로 변환하기 위해.
• 언리닝이 모델의 일반화 성능을 손상시키지 않도록 보장하기 위한 이론적 프레임워크를 개발하기 위해.
• 실제 응용 분야인 베이지안 신경망과 가우시안 혼합 모델과 같은 MCMC 기반 모델에 대해 실용적이고 효율적인 언리닝 솔루션을 제공하기 위해.

제안 방법

• KL 발산 최소화를 통해 학습된 암묵적인 사후분포를 근사화하여 MCMC 언리닝 문제를 명시적인 최적화 문제로 변환한다.
• 개별 데이터 포인트가 학습된 사후분포에 기여하는 정도를 정량화하기 위해 MCMC 영향도를 설계한다.
• 영향도를 활용해 요청된 데이터의 지식 기여도를 계산하고 사후분포에서 빼낸다.
• 전체 재학습 없이도 언리닝을 달성하기 위해 영향도 기반 보정을 직접 MCMC 샘플에 적용한다.
• PAC-베이지안 일반화 경계를 사용해 이론적 보장을 확립하여 언리닝이 일반화 오차에 미치는 영향이 작고 유계임을 입증한다.
• 합성 데이터(Gaussian mixture models)와 실제 데이터(Bayesian neural networks on CIFAR-10 및 Fashion-MNIST)에 대해 알고리즘을 구현하여 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 MCMC 기반 베이지안 모델에서 특정 데이터로부터 학습된 지식을 전체 재학습 없이 효과적이고 증명 가능한 방식으로 제거할 수 있는가?
• RQ2 암묵적인 사후분포를 갖는 MCMC의 경우 비명시적 파arameterization로 인해 언리닝을 위해 분포를 분석하고 조작할 수 있는가?
• RQ3 MCMC 언리닝이 모델의 일반화 성능에 미치는 영향은 무엇이며, 이는 이론적으로 유계로 간주될 수 있는가?
• RQ4 제안된 MCMC 영향도는 기존 영향도와 비교해 언리닝의 정확성과 효율성 측면에서 어떻게 다른가?
• RQ5 제안된 언리닝 방법은 삭제된 데이터의 지식을 효과적으로 제거하면서도 나머지 데이터 및 테스트 데이터에 대한 모델 성능을 유지할 수 있는가?

주요 결과

• 제안된 MCMC 언리닝 알고리즘이 $\varepsilon$-지식 제거를 달성하였으며, 이론적으로 제거된 지식이 유계이자 증명 가능하다고 입증되었다.
• 언리닝된 모델의 일반화 상한은 원본과 최대 $\mathcal{O}(\sqrt{|S'|}/N)$ 이내로 차이가 나며, 일반화 성능 저하가 최소임을 시사한다.
• SGLD를 사용한 CIFAR-10에서, 재학습된 모델과 언리닝된 모델 간 테스트 세트 예측 차이는 0.19 ± 0.01이었고, IS 방법은 0.25 ± 0.01, 제안 방법는 0.19 ± 0.00이었다.
• SGHMC를 사용한 Fashion-MNIST에서, 제안 방법의 테스트 세트 예측 차이는 0.15 ± 0.03이었으며, 원본 모델의 0.30 ± 0.02보다 유의미하게 낮았다.
• 제거된 데이터 세트 $S_f$에 대한 예측 차이가 근처 0으로 감소함(예: SGLD를 사용한 CIFAR-10에서 1.25 ± 0.67)을 통해 성공적인 지식 제거가 확인되었다.
• 남아 있는 데이터에 대해 높은 정확도를 유지함(예: 4,000개 예제를 사용한 Fashion-MNIST에서 98.13 ± 1.61%), 다른 데이터로부터의 지식이 유지됨을 보여주었다.