[論文レビュー] Approximate Data Deletion from Machine Learning Models: Algorithms and Evaluations.

Zachary Izzo, Mary Anne Smart+2 more|arXiv (Cornell University)|Feb 24, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用数 18

ひとこと要約

本稿では、線形回帰モデルにおける近似データ削除のための新規で効率的なアルゴリズムを提案し、特徴次元 $d$ において線形時間計算量を達成する。これは、従来の超線形的手法に比べ顕著な改善である。本稿では新たな評価テストを導入し、フル再訓練を伴わずに訓練データを削除する際、速度と精度の両面で優れた性能を示している。

ABSTRACT

Deleting data from a trained machine learning (ML) model is a critical task in many applications. For example, we may want to remove the influence of training points that might be out of date or outliers. Regulations such as EU's General Data Protection Regulation also stipulate that individuals can request to have their data deleted. The naive approach to data deletion is to retrain the ML model on the remaining data, but this is too time consuming. Moreover there is no known efficient algorithm that exactly deletes data from most ML models. In this work, we evaluate several approaches for approximate data deletion from trained models. For the case of linear regression, we propose a new method with linear dependence on the feature dimension $d$, a significant gain over all existing methods which all have superlinear time dependence on the dimension. We also provide a new test for evaluating data deletion from linear models.

研究の動機と目的

• 機械学習モデルから訓練データをフル再訓練なしに効率的に削除する課題に対処すること。
• 特に高次元設定において、正確なデータ削除が計算的に非現実的であることを克服すること。
• モデル性能を維持したままスケーラブルで正確な近似データ削除手法を開発すること。
• 線形モデルにおけるデータ削除の質を測るための新たな評価テストを導入すること。

提案手法

• 特徴次元 $d$ に対して線形依存性を示す線形回帰における近似データ削除のための新アルゴリズムを提案し、従来の超線形手法に比べ顕著な改善を達成している。
• 行列逆行列恒等式と低ランク更新を活用し、データ削除後のモデルパラメータを効率的に調整している。
• 線形モデルにおけるデータ削除の正しさと質を評価するための新規統計量を導入している。
• 解析的近似と数値的安定性技術の組み合わせにより、多様なデータ分布にわたる信頼性の高いパフォーマンスを確保している。
• 削除された点の影響に基づく構造的なアプローチを用いてモデルパラメータを再重み付けし、再訓練のオーバーヘッドを最小限に抑えており、効率を高めている。

実験結果

リサーチクエスチョン

• RQ1 特徴次元 $d$ において線形時間計算量を達成する線形回帰のための近似データ削除アルゴリズムを設計できるか？
• RQ2 提案手法は、既存の手法と比較して、データ削除の速度と正確性の点でどのように異なるか？
• RQ3 線形モデルにおける近似データ削除の質を評価するのに最も効果的な指標は何か？
• RQ4 提案された評価テストは、誤ったまたは低品質な削除を信頼性高く検出できるか？
• RQ5 モデルサイズやデータ次元性の増加に伴い、この手法はどのようにスケーリングするか？

主な発見

• 提案手法は特徴次元 $d$ において線形時間計算量を達成しており、従来の超線形依存性を示す手法に比べ顕著な改善を示している。
• 特に高次元設定において、ベースライン手法に比べ顕著に高速な削除時間を達成している。
• 新たな評価テストは、誤ったまたは最適でない削除を効果的に同定しており、近似削除の信頼性が向上している。
• 削除後も高いモデル精度を維持しており、予測性能の低下が最小限に抑えられている。
• 実験的結果から、本手法は効率性とデータ削除の忠実性の両面で、先行手法を上回っていることが示されている。