[논문 리뷰] Variational Bayesian Unlearning

Quoc Phong Nguyen, Bryan Kian Hsiang Low외 1명|arXiv (Cornell University)|2020. 10. 24.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 37

한 줄 요약

본 논문은 변분 추론 내에서 증거 상한(EUBO)을 이용하여 데이터를 지운 후의 비학습 포스터리어와 재학습 포스터리어 간 KL 발산을 최소화함으로써 근사 베이지안 언링을 형성하고, 근사 포스터리어를 다루기 위한 두 가지 트릭을 제안한다.

ABSTRACT

This paper studies the problem of approximately unlearning a Bayesian model from a small subset of the training data to be erased. We frame this problem as one of minimizing the Kullback-Leibler divergence between the approximate posterior belief of model parameters after directly unlearning from erased data vs. the exact posterior belief from retraining with remaining data. Using the variational inference (VI) framework, we show that it is equivalent to minimizing an evidence upper bound which trades off between fully unlearning from erased data vs. not entirely forgetting the posterior belief given the full data (i.e., including the remaining data); the latter prevents catastrophic unlearning that can render the model useless. In model training with VI, only an approximate (instead of exact) posterior belief given the full data can be obtained, which makes unlearning even more challenging. We propose two novel tricks to tackle this challenge. We empirically demonstrate our unlearning methods on Bayesian models such as sparse Gaussian process and logistic regression using synthetic and real-world datasets.

연구 동기 및 목표

• 데이터 프라이버시 및 악의적 데이터 상황에서 베이지안 모델의 효율적이고 근사적인 언링 필요성을 입증한다.
• 언링을 지운 데이터의 포스터리어와 남은 데이터를 재학습한 포스터리어 사이의 KL 발산 최소화로 언링을 프레임화한다.
• 근사 포스터리어만 이용 가능한 경우 VI 기반 절차를 개발하여 언링을 달성한다.
• 정확한 포스터리어가 이용 불가능할 때 언링의 안정화를 돕는 두 가지 트릭(보정된 가능도와 역 KL)을 제안한다.
• 희소 가우시안 프로세스 및 다양한 포스터리어 모델을 갖춘 로지스틱 회귀를 포함한 베이지안 모델에서 방법을 시연한다.

제안 방법

• 정확한 베이지안 언링을 Er로부터 p(theta|Dr)을 회복하는 문제로 정의한다: p(theta|D)에서 erased data De를 고려한다.
• KL[q_u(theta|Dr) || p(theta|Dr)]를 최소화하는 것이 U라는 증거 상한을 최소화하는 것과 동등하다는 것을 보인다. 이는 지운 데이터에 대한 언링과 전체 데이터에서 정보를 보존하는 사이의 트레이드를 명확히 한다.
• 근사 포스터리어를 다루기 위한 두 가지 트릭을 도입한다: (i) 낮은 q(theta|D) 영역을 약하게 방문하도록 가중치를 낮추는 조정된 가능도 p_adj(De|theta; lambda)와 (ii) 조정된 가능도 없이도 자연스럽게 언링을 제한하는 역 KL 발산.
• tilde p(theta|Dr)와 같이 p(theta|Dr) 의 근사치를 q(theta|D)/p(De|theta)에 비례하도록 추정하고 대응하는 EUBOs를 최소화한다.
• 가정된 포스터리어 q(theta|D)를 정규화 흐름(normalizing flows)과 같은 유연한 표현으로 모델링하고, ELBO 또는 VI 기반 변형들을 최대화하는 VI를 적용한다.
• 희소 가우시안 프로세스 분류 및 로지스틱 회귀에서 포스터리어를 나타내기 위해 정규화 흐름을 사용하고, 예측 분포 간 KL 발산을 평가하면서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 VI에서 얻은 근사 포스터리어만 이용 가능할 때 어떻게 효율적으로 근사 베이지안 언링을 수행할 수 있는가?
• RQ2 KL 기반의 언링(EUBO를 통한)이 지운 데이터의 영향력을 제거하면서도 재학습의 비극적(unlearning catastrophe)을 피할 수 있는가?
• RQ3 조정된 가능도와 역 KL이 근사 포스터리어 하에서 견고한 언링을 제공하는가?
• RQ4 언링 방법은 서로 다른 베이지안 모델(예: 희소 GP, 로지스틱 회귀) 및 포스터리어 표현(가우시안, 정규화 흐름)에서 어떻게 달라지는가?

주요 결과

• EUBO를 최소화하는 것이 언링되지 않은 전체 데이터 포스터리어와 언링된 데이터 포스터리어 간 KL을 최소화하는 것과 동등하므로 언링의 원리적 목적을 제시한다.
• 정확한 포스터리어를 사용할 수 없는 경우에도 조정된 가능도와 역 KL은 견고함을 증가시키며 높은 확률 영역에 언링을 집중시킨다.
• 언링 성능은 lambda의 선택과 포스터리어 모델에 따라 달라지며, 너무 공격적인 조정(lambda가 작음)은 일부 설정에서 파국적 언링을 초래할 수 있는 반면, 역 KL은 보다 안정적인 경향을 보인다.
• 실험은 EUBO 기반의 언링이 희소 GP의 합성 달(月) 데이터에서 지운 데이터 영역의 예측 분포 차이를 줄이고 남아있는 데이터에서의 성능은 유지하는 것을 보여주며, 로지스틱 회귀를 사용한 은행권 화폐 인증에서도 마찬가지로 나타난다.
• 정규화 흐름은 가우시안 근사가 실패하는 복잡한 포스터리어에 대해 효과적인 언링을 가능하게 하며, 특히 VI 기반 표현에서 유용하다.
• 다양한 실험에서 언링 전략은 제거 후 포스터리어/예측 간의 KL 발산을 낮추고, 전체 데이터 예측 대비 약화 없이 근사 언링의 효과를 입증한다.