[論文レビュー] Knowledge Removal in Sampling-based Bayesian Inference

Shaopeng Fu, Fengxiang He+1 more|arXiv (Cornell University)|Mar 24, 2022

Bayesian Methods and Mixture Models被引用数 5

ひとこと要約

本稿は、マルコフ連鎖モンテカルロ法（MCMC）を用いたサンプリングベースのベイジアン推論における、初めての機械的アンラーニングアルゴリズムを提案する。KL発散の近似を用いて、暗黙的な事後分布を明示的な最適化問題に変換する。特定のデータからの知識を定量化・削除するためのMCMCインフルエンス関数を導入し、証明可能な $\varepsilon$-知識削除と一般化性能への最小限の影響を実証した。ガウス・ミクスチャ・モデルおよびベイジアンニューラルネットワークにおいて、最先端の性能を示した。

ABSTRACT

The right to be forgotten has been legislated in many countries, but its enforcement in the AI industry would cause unbearable costs. When single data deletion requests come, companies may need to delete the whole models learned with massive resources. Existing works propose methods to remove knowledge learned from data for explicitly parameterized models, which however are not appliable to the sampling-based Bayesian inference, i.e., Markov chain Monte Carlo (MCMC), as MCMC can only infer implicit distributions. In this paper, we propose the first machine unlearning algorithm for MCMC. We first convert the MCMC unlearning problem into an explicit optimization problem. Based on this problem conversion, an {\it MCMC influence function} is designed to provably characterize the learned knowledge from data, which then delivers the MCMC unlearning algorithm. Theoretical analysis shows that MCMC unlearning would not compromise the generalizability of the MCMC models. Experiments on Gaussian mixture models and Bayesian neural networks confirm the effectiveness of the proposed algorithm. The code is available at \url{https://github.com/fshp971/mcmc-unlearning}.

研究の動機と目的

• データ削除後の再訓練に伴う高コストを引き起こす『忘れられる権利』の法的・計算的課題に対処する。
• 従来のアンラーニング手法が明示的にパラメータ化されたモデルを必要としているという制限を克服する。これは、MCMCのようなサンプリングベースのベイジアン推論に適用できない。
• MCMCが暗黙的な事後分布を推定するという性質を踏まえ、アンラーニング問題を明示的な最適化タスクに変換することで、MCMCにおける知識削除を可能にする。
• アンラーニングがモデルの一般化性能を損なわないように保証する理論的枠組みを構築する。
• 実世界の応用、例えばベイジアンニューラルネットワークやガウス・ミクスチャ・モデルにおけるMCMCベースのモデルに対して、実用的で効率的なアンラーニングソリューションを提供する。

提案手法

• KL発散の最小化を用いて、学習済みの暗黙的事後分布を近似することで、MCMCアンラーニング問題を明示的な最適化問題に変換する。
• 個々のデータポイントが学習済み事後分布に与える寄与度を定量化するためのMCMCインフルエンス関数を設計する。
• インフルエンス関数を用いて、要求されたデータの知識寄与度を計算し、事後分布から差し引く。
• MCMCサンプルに直接、インフルエンスに基づく補正を適用することで、完全な再訓練なしにアンラーニングを達成する。
• PACベイジアン一般化バウンドを用いて理論的保証を確立し、アンラーニングが一般化誤差に及ぼす影響が小さく、有界であることを示す。
• 合成データ（ガウス・ミクスチャ・モデル）および実世界のデータ（CIFAR-10およびFashion-MNIST上のベイジアンニューラルネットワーク）に本アルゴリズムを実装し、有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 MCMCベースのベイジアンモデルで学習された特定のデータからの知識は、完全な再訓練を伴わず、効果的かつ証明可能な方法で削除可能か？
• RQ2 非明示的パrameter化を持つMCMCの暗黙的事後分布は、アンラーニングの目的でどのように分析・操作可能か？
• RQ3 MCMCアンラーニングがモデルの一般化性能に与える影響は何か？ また、理論的に有界にできるか？
• RQ4 提案されたMCMCインフルエンス関数は、従来のインフルエンス関数と比較して、アンラーニングにおける正確さと効率性において優れているか？
• RQ5 提案されたアンラーニング手法は、削除されたデータからの知識を効果的に削除しつつ、残存データおよびテストデータにおけるモデル性能を維持できるか？

主な発見

• 提案されたMCMCアンラーニングアルゴリズムは、$\varepsilon$-知識削除を達成し、理論的に削除された知識が有界かつ証明可能であることを示した。
• アンラーニング済みモデルの一般化上界は、元のモデルと比較して、$\mathcal{O}(\sqrt{|S'|}/N)$ の範囲内で差異を示し、一般化性能への劣化が最小限であることを示した。
• SGLDを用いたCIFAR-10では、再訓練済みモデルとアンラーニング済みモデルのテストセットにおける予測差は0.19 ± 0.01であった。これは、IS手法の0.25 ± 0.01および本手法の0.19 ± 0.00と比較して良好な結果であった。
• SGHMCを用いたFashion-MNISTでは、本手法のテストセットにおける予測差は0.15 ± 0.03であり、元のモデルの0.30 ± 0.02と比較して顕著に低かった。
• 削除されたデータセット $S_f$ における予測差が著しく低下し、ほぼゼロ（例：SGLDを用いたCIFAR-10では1.25 ± 0.67）にまで減少した。これは、知識削除が成功したことを確認した。
• 残存データにおける精度が高く維持された（例：4,000件の例を用いたFashion-MNISTでは98.13 ± 1.61％）。他のデータからの知識が保持されていることが示された。