[論文レビュー] Making AI Forget You: Data Deletion in Machine Learning

Antonio Ginart, Melody Y. Guan+2 more|arXiv (Cornell University)|Jul 11, 2019

Privacy-Preserving Technologies in Data参考文献 85被引用数 71

ひとこと要約

この論文はMLにおけるデータ削除を形式化し、Q-kmeansとDC-kmeansの2つの削除効率的なk-meansアルゴリズムを提案。理論的保証と標準的な再学習に比べて強力な経験的スピードアップを実現しつつ、クラスタリング品質を保つ。

ABSTRACT

Intense recent discussions have focused on how to provide individuals with control over when their data can and cannot be used --- the EU's Right To Be Forgotten regulation is an example of this effort. In this paper we initiate a framework studying what to do when it is no longer permissible to deploy models derivative from specific user data. In particular, we formulate the problem of efficiently deleting individual data points from trained machine learning models. For many standard ML models, the only way to completely remove an individual's data is to retrain the whole model from scratch on the remaining data, which is often not computationally practical. We investigate algorithmic principles that enable efficient data deletion in ML. For the specific setting of k-means clustering, we propose two provably efficient deletion algorithms which achieve an average of over 100X improvement in deletion efficiency across 6 datasets, while producing clusters of comparable statistical quality to a canonical k-means++ baseline.

研究の動機と目的

• 訓練済みMLモデルから個別のデータポイントを削除する問題を形式化する。
• オンライン/削除設定における削除効率を定義し、下界を確立する。
• 理論的保証を伴う削除効率的なk-meansクラスタリングアルゴリズムを開発する。
• 多様なデータセットを対象に、削除効率とクラスタリング品質を実証的に評価する。
• 削除効率的な学習システムの設計ツールボックスと原則を提供する。

提案手法

• データ削除を、削除された点を含まない訓練データから学習したモデルと分布上区別がつかないモデルを生み出すこととして定義する。
• 二つの削除効率的なk-meansのバリアントを提案する：Quantized k-means (Q-kmeans) および Divide-and-Conquer k-means (DC-kmeans)。
• Q-kmeans: セントロイドをepsilon格子に量子化し、状態をメモ化し、バランス補正を適用し、不安定な反復に対して早期終了を用いる。
• DC-kmeans: w-枝木を構築し、サブ問題をk-means++で解き、木を上に統合して局所削除を可能にする。
• 削除計算量を分析し、特定条件下でQ-kmeansの削除の期待時間が O(m^2 d^{5/2}/epsilon) であることを示す；DC-kmeans削除境界の補題/証明の概略を提供。
• 削除効率的なシステムのための4つの設計原理（線形性、遅延、モジュラリティ、量子化）を提示する。

実験結果

リサーチクエスチョン

• RQ1 計算的に意味のある形で、MLモデルのデータ削除を定義し測定するにはどうすれば良いか？
• RQ2 モデル品質を保ちつつ、トレーニング点を一つずつ再学習なしに効率的に削除できるか？
• RQ3 k-meansクラスタリングのためにどのような削除効率的戦略を開発でき、それらの理論的保証は何か？
• RQ4 多様なデータセットで、削除効率的手法が速度とクラスタリング品質の点で経験的にどのように性能を示すか？
• RQ5 削除効率的なMLシステム設計のために、どのような一般的なエンジニアリング原理が現れるか？

主な発見

• 削除効率的なk-meansのバリアントは、標準の Lloyd のアルゴリズム（k-means++ 初期化）に対して、平均するとアモルタイズドランタイムで100倍超の大幅なスピードアップを達成。
• Q-kmeansはセントロイドの量子化と状態のメモ化を通じて高速な削除を可能にしつつ、競争力のあるクラスタリング品質を維持する；削除時間は期待値で O(m^2 d^{5/2}/epsilon)。
• DC-kmeansは深さ1のw-ary木を用いた別の削除戦略を提供し、適切なパラメータ選択で期待値の削除時間を O(m max{n^{rho}, n^{1−rho}} d) とする。
• 6つのデータセットに渡り、両手法とも主要指標（損失、シルエット、NMI）でベースラインと統計的に同等の結果を示しつつ、削除コストを著しく低減。
• 著者らはアモルタイズド削除効率の境界を確立：Q-kmeans は alpha <= (1 - beta)/2 かつ epsilon ~ n^{-beta} のとき alpha-削除効率的；DC-kmeans は alpha < 1 - max{1 - rho, rho} かつ木の幅 w ~ n^{rho} のとき alpha-削除効率的。