[論文レビュー] Bayesian Inference Forgetting

Shaopeng Fu, Fengxiang He+2 more|arXiv (Cornell University)|Jan 16, 2021

Gaussian Processes and Bayesian Inference参考文献 66被引用数 6

ひとこと要約

本稿では、エネルギーに基づく影響関数を定義することで、再訓練を伴わずに効率的かつ証明可能な個々のデータ影響の削除が可能な、認証可能知識削除を可能にするベイジアン推論忘却（BIF）フレームワークを提案する。この手法により、変分推論およびMCMCにおける$\varepsilon$-認証済み知識削除が可能となり、実験では一般化性能を維持したまま効果的な忘却が達成され、再訓練比で最大67.9倍の高速化が達成された。

ABSTRACT

The right to be forgotten has been legislated in many countries but the enforcement in machine learning would cause unbearable costs: companies may need to delete whole models learned from massive resources due to single individual requests. Existing works propose to remove the knowledge learned from the requested data via its influence function which is no longer naturally well-defined in Bayesian inference. This paper proposes a {\it Bayesian inference forgetting} (BIF) framework to realize the right to be forgotten in Bayesian inference. In the BIF framework, we develop forgetting algorithms for variational inference and Markov chain Monte Carlo. We show that our algorithms can provably remove the influence of single datums on the learned models. Theoretical analysis demonstrates that our algorithms have guaranteed generalizability. Experiments of Gaussian mixture models on the synthetic dataset and Bayesian neural networks on the real-world data verify the feasibility of our methods. The source code package is available at \url{https://github.com/fshp971/BIF}.

研究の動機と目的

• 機械学習における「忘れられる権利」への対応にかかる高コストを解消するため、1つのデータポイントを削除するだけでモデル全体の再訓練が必要となる問題に対処すること。
• 従来の影響関数に基づく忘却手法には、標準的な損失関数が存在しないベイジアン推論において明確に定義できないという限界があるため、それを克服すること。
• モデルの一般化性能と残存データへの知識を維持しつつ、一般化可能で理論的保証付きかつ効率的なベイジアンモデルの忘却フレームワークを開発すること。
• エネルギーに基づく影響関数を用いたベイジアン推論における認証可能知識削除の理論的基盤を確立すること。

提案手法

• 従来の損失関数に基づく影響関数に代わる、個々のデータポイントが事後分布に与える影響を定量化するエネルギーに基づくベイジアン推論影響関数（BIF）を提案する。
• 変分推論におけるエネルギー関数としてエビデンス下限界（ELBO）を定義し、理論的保証付きの変分推論忘却アルゴリズムの導出を可能にする。
• MCMCに基づく推論のための新規エネルギー関数を導入し、標準的および確率的勾配MCMCの両方に適用可能なMCMC忘却アルゴリズムの設計を可能にする。
• 実用的な影響関数の効率的計算のために、再帰的ヘッセ・ベクトル積近似とモンテカルロサンプリングを採用する。
• PACベイジアン理論を用いて、忘却後も一般化境界が安定しており、境界差に$O(1/n)$の追加劣化しか生じないことを証明する。
• 完全なモデル再訓練を避けるために、事後分布近似のスケーリングと更新により忘却を実装する。

実験結果

リサーチクエスチョン

• RQ1 標準的な損失関数が存在しないベイジアン推論において、影響関数を厳密に定義することは可能か？
• RQ2 再訓練を伴わず、理論的保証付きの認証可能な個々のデータポイントの知識削除は達成可能か？
• RQ3 忘却プロセスは、残存データに対するモデルの一般化性能を維持するか？
• RQ4 提案手法は、変分推論およびMCMC推論の両方に対して効率的に適用可能か？
• RQ5 実際の応用において、忘却の効率は完全なモデル再訓練と比較してどうか？

主な発見

• BIFフレームワークは、変分推論およびMCMCの両方において、ややきつい滑らかさおよび凸性の仮定のもとで理論的保証付きの$\varepsilon$-認証済み知識削除を達成する。
• 忘却後も、ベイジアンモデルの一般化境界は$O(\sqrt{\log n / n})$のオーダーを保ち、境界差に$O(1/n)$の追加劣化しか生じない。
• ガウス混合モデルおよびベイジアンニューラルネットワークにおける実験では、要求されたデータの知識が効果的に削除された一方で、残存データおよびテストデータにおける分類精度が維持された。
• 忘却フェーズは、初期再訓練よりも著しく高速であり、変分推論では最大67.9倍、BNNにおけるSGLD/SGHMCでは約9.8倍の加速が達成された。
• 影響関数近似誤差は$O(1/n^2)$で有界であり、$n$が大きい場合には無視できるほど小さく、1次近似の精度が妥当であることが裏付けられた。
• 異なる推論アルゴリズムおよびデータセット（包括的に実世界のBNNを含む）においても、複数のランダムシードにわたって一貫した性能を示し、ロバストであることが確認された。