[论文解读] Online Algorithms with Limited Data Retention

Nicole Immorlica, Brendan Lucier+2 more|arXiv (Cornell University)|Jan 1, 2024

Optimization and Search Problems被引用 1

一句话总结

本文提出了一种在线学习框架，其中算法必须在 m 个轮次后删除数据，以模拟现实世界中的数据保留法律。研究结果表明，当 m = Poly(d, log(1/ε)) 时，算法可在 d 维均值估计和线性回归任务中实现均方误差 ε，其性能与可无限保留所有数据的理想算法相当，即使在严格的删除约束下亦如此。

ABSTRACT

We introduce a model of online algorithms subject to strict constraints on data retention. An online learning algorithm encounters a stream of data points, one per round, generated by some stationary process. Crucially, each data point can request that it be removed from memory $m$ rounds after it arrives. To model the impact of removal, we do not allow the algorithm to store any information or calculations between rounds other than a subset of the data points (subject to the retention constraints). At the conclusion of the stream, the algorithm answers a statistical query about the full dataset. We ask: what level of performance can be guaranteed as a function of $m$? We illustrate this framework for multidimensional mean estimation and linear regression problems. We show it is possible to obtain an exponential improvement over a baseline algorithm that retains all data as long as possible. Specifically, we show that $m = extsc{Poly}(d, \log(1/ε))$ retention suffices to achieve mean squared error $ε$ after observing $O(1/ε)$ $d$-dimensional data points. This matches the error bound of the optimal, yet infeasible, algorithm that retains all data forever. We also show a nearly matching lower bound on the retention required to guarantee error $ε$. One implication of our results is that data retention laws are insufficient to guarantee the right to be forgotten even in a non-adversarial world in which firms merely strive to (approximately) optimize the performance of their algorithms. Our approach makes use of recent developments in the multidimensional random subset sum problem to simulate the progression of stochastic gradient descent under a model of adversarial noise, which may be of independent interest.

研究动机与目标

• 建模严格数据保留约束对在线学习算法的影响，其中数据必须在 m 个轮次后被删除。
• 探究在这些约束下，统计学习任务中的最优性能是否仍可实现。
• 分析数据保留时长 m 与算法误差之间的权衡，尤其针对均值估计和线性回归任务。
• 证明主动数据整理策略可优于仅尽可能长时间保留数据的简单策略。
• 表明即使非对抗性的算法设计者，也可能通过数据集整理无意中泄露关于已删除数据的信息。

提出的方法

• 提出一种框架，其中算法仅存储部分数据点，每个数据点在 m 个轮次后必须被强制删除。
• 采用分组策略：将数据点分组为大小为 k 的批次，并计算每组的最大似然估计量（MLE）。
• 使用解码过程，从组估计量中选择一个子集，使其平均值最接近由随机梯度下降导出的目标点。
• 应用矩阵切尔诺夫界，证明组估计量在真实参数周围平滑分布，从而实现精确近似。
• 利用先前工作的定理 3.5 来界定估计过程中的编码误差，将估计误差视为对抗性噪声。
• 将这些组件整合为一个在线算法，随时间维护一个具有代表性的子样本，确保在数据删除后仍保持低误差。

实验结果

研究问题

• RQ1 当在线学习算法被迫在固定轮次后删除数据时，是否仍可实现近似最优的统计性能？
• RQ2 在均值估计和线性回归中，实现误差 ε 所需的最小保留窗口 m 是多少？
• RQ3 主动数据整理在多大程度上可弥补因强制删除而造成的数据损失？
• RQ4 即使遵循法律保留规则并仅追求性能优化，算法是否仍可能泄露关于已删除数据的信息？
• RQ5 与保留无限期的最优基准算法相比，保留约束算法的性能如何？

主要发现

• 当 m = Poly(d, log(1/ε)) 时，所提出的算法在观察 O(1/ε) 个 d 维数据点后，可实现均方误差 ε。
• 该性能与无法实现的最优算法（无限保留所有数据）相当。
• 建立了关于 m 的近乎匹配的下界，表明 Poly(d, log(1/ε)) 在渐近意义上是实现误差 ε 所必需的。
• 该框架揭示，仅靠数据保留法律本身不足以保证“被遗忘的权利”，即使在非对抗性环境中亦如此。
• 算法通过数据集整理编码已删除数据信息的能力表明，实现层面的约束可能无法防止信息泄露。
• 使用分组 MLE 和通过矩阵切尔诺夫界对对抗性噪声的建模，使在严格删除约束下仍能实现精确估计。