[論文レビュー] Online Algorithms with Limited Data Retention

Nicole Immorlica, Brendan Lucier+2 more|arXiv (Cornell University)|Jan 1, 2024

Optimization and Search Problems被引用数 1

ひとこと要約

この論文は、mラウンド後にデータを削除しなければならないという制約を課すオンライン学習フレームワークを導入する。m = Poly(d, log(1/ε))のとき、d次元の平均推定および線形回帰において、平均二乗誤差εを達成できることを示しており、これはすべてのデータを永遠に保持する理想のアルゴリズムと同等の性能を達成している。

ABSTRACT

We introduce a model of online algorithms subject to strict constraints on data retention. An online learning algorithm encounters a stream of data points, one per round, generated by some stationary process. Crucially, each data point can request that it be removed from memory $m$ rounds after it arrives. To model the impact of removal, we do not allow the algorithm to store any information or calculations between rounds other than a subset of the data points (subject to the retention constraints). At the conclusion of the stream, the algorithm answers a statistical query about the full dataset. We ask: what level of performance can be guaranteed as a function of $m$? We illustrate this framework for multidimensional mean estimation and linear regression problems. We show it is possible to obtain an exponential improvement over a baseline algorithm that retains all data as long as possible. Specifically, we show that $m = extsc{Poly}(d, \log(1/ε))$ retention suffices to achieve mean squared error $ε$ after observing $O(1/ε)$ $d$-dimensional data points. This matches the error bound of the optimal, yet infeasible, algorithm that retains all data forever. We also show a nearly matching lower bound on the retention required to guarantee error $ε$. One implication of our results is that data retention laws are insufficient to guarantee the right to be forgotten even in a non-adversarial world in which firms merely strive to (approximately) optimize the performance of their algorithms. Our approach makes use of recent developments in the multidimensional random subset sum problem to simulate the progression of stochastic gradient descent under a model of adversarial noise, which may be of independent interest.

研究の動機と目的

• mラウンド後にデータを削除しなければならないという厳しいデータ保持制約がオンライン学習アルゴリズムに与える影響をモデル化すること。
• このような制約のもとでも、統計的学習タスクにおける最適なパフォーマンスが達成可能かどうかを調査すること。
• 特に平均推定および線形回帰の文脈において、データ保持期間mとアルゴリズムの誤差の間のトレードオフを分析すること。
• 能動的なデータキュレーション戦略が、可能な限り長期間データを保持するナーヴィな戦略を上回ることを示すこと。
• 非敵対的設計者であっても、データセットのキュレーションを通じて削除されたデータに関する情報を間接的に漏洩させてしまう可能性があることを示すこと。

提案手法

• アルゴリズムが保存できるのはデータポイントの部分集合に限られ、各データポイントはmラウンド後に強制的に削除されるというフレームワークを提案する。
• グループ化戦略を用いる：データポイントはサイズkのバッチに分けられ、各グループの最尤推定値（MLE）が計算される。
• ステochastic gradient descentから導かれるターゲットポイントに最も近い平均を持つグループ推定値のサブセットを選択する復号手順を採用する。
• 行列チェルノフ不等式を用いて、グループ推定値が真のパラメータのまわりに滑らかに分布していることを示し、正確な近似が可能であることを保証する。
• 先行研究の定理3.5を用いて推定プロセスにおける符号化誤差を束縛し、推定誤差を敵対的ノイズとみなして扱う。
• これらの要素を統合し、時間経過に伴って代表的なサブサンプルを維持するオンラインアルゴリズムを構築する。これにより、データ削除後でも低誤差を確保できる。

実験結果

リサーチクエスチョン

• RQ1 固定されたラウンド数m後にデータを削除しなければならない場合、オンライン学習アルゴリズムはほぼ最適な統計的性能を達成できるか？
• RQ2 平均推定および線形回帰において誤差εを達成するための最小の保持期間mは何か？
• RQ3 能動的なデータキュレーションは、義務的な削除によって失われるデータの損失をどの程度補えるか？
• RQ4 法律上の保持ルールに従い、パフォーマンス最適化を目的としているにもかかわらず、アルゴリズムが削除されたデータに関する情報を漏洩させてしまう可能性はあるか？
• RQ5 保持制約があるアルゴリズムのパフォーマンスは、無限にデータを保持する理想のベースラインと比べてどの程度の差になるか？

主な発見

• m = Poly(d, log(1/ε))のとき、提案されたアルゴリズムは、O(1/ε)個のd次元データポイントを観測した後、平均二乗誤差εを達成する。
• このパフォーマンスは、すべてのデータを永遠に保持するという現実的ではないが最適なアルゴリズムと同等である。
• mに対するほぼ一致する下界が確立され、誤差εを達成するにはPoly(d, log(1/ε))が漸近的に必要であることが示された。
• このフレームワークは、データ保持法だけでは、非敵対的状況下でも「忘れられる権利」を保証するには不十分であることを明らかにした。
• アルゴリズムがデータキュレーションを通じて削除されたデータに関する情報をエンコードできるという事実は、実装上の制約だけでは情報漏洩を防げない可能性を示唆している。
• グループ化されたMLEと、行列チェルノフ不等式による敵対的ノイズのモデル化を組み合わせることで、厳格な削除制約のもとでも正確な推定が可能になった。