[論文レビュー] Towards Probabilistic Verification of Machine Unlearning

David Sommer, Liwei Song+2 more|arXiv (Cornell University)|Mar 9, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用数 36

ひとこと要約

tldr: 本論文は、MLaaSにおける機械学習のデータ削除（機械的アンリーニング）を検証するための確率的フレームワークを、バックドアデータ Poisingを用いて提案し、検証を仮説検定として形式化し、実用的な参加度で高い信頼度の検出を示している。

ABSTRACT

The right to be forgotten, also known as the right to erasure, is the right of individuals to have their data erased from an entity storing it. The status of this long held notion was legally solidified recently by the General Data Protection Regulation (GDPR) in the European Union. Consequently, there is a need for mechanisms whereby users can verify if service providers comply with their deletion requests. In this work, we take the first step in proposing a formal framework to study the design of such verification mechanisms for data deletion requests -- also known as machine unlearning -- in the context of systems that provide machine learning as a service (MLaaS). Our framework allows the rigorous quantification of any verification mechanism based on standard hypothesis testing. Furthermore, we propose a novel backdoor-based verification mechanism and demonstrate its effectiveness in certifying data deletion with high confidence, thus providing a basis for quantitatively inferring machine unlearning. We evaluate our approach over a range of network architectures such as multi-layer perceptrons (MLP), convolutional neural networks (CNN), residual networks (ResNet), and long short-term memory (LSTM), as well as over 5 different datasets. We demonstrate that our approach has minimal effect on the ML service's accuracy but provides high confidence verification of unlearning. Our proposed mechanism works even if only a handful of users employ our system to ascertain compliance with data deletion requests. In particular, with just 5% of users participating, modifying half their data with a backdoor, and with merely 30 test queries, our verification mechanism has both false positive and false negative ratios below $10^{-3}$. We also show the effectiveness of our approach by testing it against an adaptive adversary that uses a state-of-the-art backdoor defense method.

研究の動機と目的

• 機械学習におけるデータ削除要求への準拠を定量化するため、機械学習のアンリーニング検証を仮説検定問題として形式化する。
• プライバシーを重視するユーザーがデータの一部を Poisoning して検証可能な痕跡を作る、バックドアベースの機構を導入する。
• 適応的/非適応的なサーバ挙動の下で検証信頼度に関する理論的保証と閉形式表現を提供する。
• 限られた参加とテストクエリで高い信頼度を示しつつ、複数のデータセットとアーキテクチャにわたって本手法を経験的に検証する。

提案手法

• 削除済みデータと未削除データのシナリオを比較する仮説検定としてアンリーニング検証をモデル化する。
• ポイズニングされたデータで訓練されたモデルに検出可能な痕跡を作るために、ユーザー固有のバックドアポイズニングを使用する。
• pとqを、それぞれH1（未削除）下のバックドア成功確率とH0（削除済）下のバックドア成功確率として定義する。
• 二項分布と検定閾値に基づいて、削除信頼度rho_A,alpha(s,n)の閉形式表現を導出する。
• 限られたクエリからpとqの推定を分析し、単一ユーザーシナリオに対する緩和を提供する。
• 5つのデータセット（EMNIST, FEMNIST, CIFAR10, ImageNet, AG News）および4つのアーキテクチャ（MLP, CNN, ResNet, LSTM）に渡って評価する。

実験結果

リサーチクエスチョン

• RQ1 バックドアベースの戦略は、MLaaSにおけるデータ削除の高信頼性検証を可能にするか？
• RQ2 低い偽陽性/偽陰性率を達成するために、バックドア付きテストサンプル数（n）はどれくらいで、参加割合（f_user）はどれくらい必要か？
• RQ3 バックドアに対する適応的なサーバ防御は検証性能にどう影響するか？
• RQ4 結果は多様なデータセットとモデルアーキテクチャに一般化されるか？
• RQ5 複数のプライバシー愛好者が協調して検証を改善しつつ、モデルの有用性を損なわない方法は？

主な発見

• 提案されたバックドアベースの機構は、50%のポイズニングデータと30件のテストクエリで、偽陽性・偽陰性率をそれぞれ1e-3未満で達成する。
• 5つのデータセットと4つのアーキテクチャにわたり、本手法はモデル精度を維持しつつ高い検証信頼度を示す。
• バックドア対策を用いる適応的サーバはバックドア成功率を低減するが、高い信頼度のアンリーニング検証能力を維持する。
• 参加ユーザーがわずか5%であってもフレームワークは有効であり、複数のユーザーを組み合わせることで検証性能が向上する。
• 本論文は削除信頼度の閉形式解析表現を提供し、現実の設定でのpとqの実用的推定を論じている。