[論文レビュー] Certified Data Removal from Machine Learning Models

Chuan Guo, Tom Goldstein+2 more|arXiv (Cornell University)|Nov 8, 2019

Privacy-Preserving Technologies in Data参考文献 33被引用数 21

ひとこと要約

この論文は、勾配降下法の更新とノイズマスキングを組み合わせることで微分プライバシーに類似した保証を達成し、学習済みモデルから削除されたデータが、一度も学習されていないデータと区別できないように保証する、認証付き削除メカニズムを提案している。この手法により、線形モデルでは高速かつ高精度なサブ秒オーダーの削除が可能となり、フル再訓練や微分プライバシーベースラインを上回る性能を発揮する。

ABSTRACT

Good data stewardship requires removal of data at the request of the data's owner. This raises the question if and how a trained machine-learning model, which implicitly stores information about its training data, should be affected by such a removal request. Is it possible to "remove" data from a machine-learning model? We study this problem by defining certified removal: a very strong theoretical guarantee that a model from which data is removed cannot be distinguished from a model that never observed the data to begin with. We develop a certified-removal mechanism for linear classifiers and empirically study learning settings in which this mechanism is practical.

研究の動機と目的

• 強い理論的保証である不変性（indistinguishability）を満たす形で、学習済み機械学習モデルからデータを削除する課題に対処すること。
• フル再訓練を回避しつつプライバシーを保証する実用的な認証付き削除メカニズムを開発すること。
• L2正則化付き、微分可能な凸損失関数を用いた線形モデルに対して、認証付き削除が実現可能であることを示すこと。
• 実世界の設定において、削除効率、モデル精度、プライバシー保証のトレードオフを評価すること。
• プライベート特徴抽出と効率的な線形モデル更新を組み合わせることで、深層学習における認証付き削除の可能性を検討すること。

提案手法

• 削除されたデータポイントがモデルパラメータに与える影響を逆転させるために、ニュートンステップに基づく認証付き削除メカニズムを提案する。
• 逆ヘッセ行列を用いた重みの残差補正を適用することで、データセットサイズの二乗に反比例して削除データの影響が低減される。
• Chaudhuriら（2011）の提案に基づき、訓練損失に対するランダム摂動を用いて残差誤差をマスキングし、削除済みモデルが一度も学習されていないモデルと区別できないように保証する。
• ε-認証付き削除を、削除済みモデルとデータを一切学習していないモデルとの間の最大発散（max-divergence）の上界として定義し、メンバーインファレンス攻撃に対して耐性を持つようにする。
• 深層学習では二段階アプローチを採用する：まず微分プライベートな特徴抽出器を訓練し、その後、微調整された線形ヘッドに認証付き削除メカニズムを適用する。
• 複数回の削除にわたる全体の(ε, δ)-認証付き削除保証を維持するため、更新による期待されるε寄与度をε_CR ≈ ε_DP / 10に設定する。

実験結果

リサーチクエスチョン

• RQ1 学習済み機械学習モデルからデータを削除した場合、その結果得られるモデルが、一度もそのデータを見なかったモデルと理論的に区別できないようにできるか？
• RQ2 フル再訓練を回避しつつ、低コストで認証付き削除を達成できるか？
• RQ3 認証付き削除メカニズムは、フル再訓練や微分プライベート訓練と比較して、モデル精度と削除効率の面でどの程度の性能を示すか？
• RQ4 プライベート特徴抽出と効率的な線形モデル更新を組み合わせたハイブリッドアプローチにより、深層ニューラルネットワークに対しても認証付き削除を拡張可能か？
• RQ5 認証付き削除において、プライバシー保証（ε）、モデルの有用性、計算コストの間にはどのようなトレードオフが生じるか？

主な発見

• LSUNデータセットにおいて、認証付き削除メカニズムはε ≈ 0.1でテスト精度71.2%を達成した一方、完全に微分プライベートなCNNではたった22.7%にとどまった。
• プライベート特徴抽出器の上位に位置する線形モデルからの削除にはわずか0.27秒で完了し、フル再訓練の1.5時間以上に比べて著しく高速であった。
• ニュートン更新による残差誤差は、訓練データセットサイズの二乗に反比例して減少し、データセットサイズが大きくなるほど削除精度が向上する。
• ノイズマスキングによって最大発散の上限が保証されているため、メンバーインファレンス攻撃が削除済みデータに対して成功しないことが保証された。
• 最大10回の削除まで、合計失敗確率が最大9/10δに抑えられるようにサポートされ、(ε, δ)-認証付き削除の保証が維持された。
• 理論的分析により、このメカニズムが強い保証を提供することが示された：削除済みモデルは、データを一度も学習していないモデルと統計的に区別できない。