[논문 리뷰] Online Algorithms with Limited Data Retention

Nicole Immorlica, Brendan Lucier외 2명|arXiv (Cornell University)|2024. 01. 01.

Optimization and Search Problems인용 수 1

한 줄 요약

이 논문은 알고리즘이 m라운드 이후 데이터를 삭제해야 하는 온라인 학습 프레임워크를 제안한다. 이는 실제 세계의 데이터 보존 법규를 모델링한 것이다. m = Poly(d, log(1/ε))일 때, 알고리즘은 d차원 평균 추정 및 선형 회귀에서 평균 제곱오차 ε를 달성할 수 있으며, 이는 모든 데이터를 영구히 보존하는 이상적인 알고리즘의 성능과 동일하다. 이는 엄격한 삭제 제약 조건에도 불구하고 성립한다.

ABSTRACT

We introduce a model of online algorithms subject to strict constraints on data retention. An online learning algorithm encounters a stream of data points, one per round, generated by some stationary process. Crucially, each data point can request that it be removed from memory $m$ rounds after it arrives. To model the impact of removal, we do not allow the algorithm to store any information or calculations between rounds other than a subset of the data points (subject to the retention constraints). At the conclusion of the stream, the algorithm answers a statistical query about the full dataset. We ask: what level of performance can be guaranteed as a function of $m$? We illustrate this framework for multidimensional mean estimation and linear regression problems. We show it is possible to obtain an exponential improvement over a baseline algorithm that retains all data as long as possible. Specifically, we show that $m = extsc{Poly}(d, \log(1/ε))$ retention suffices to achieve mean squared error $ε$ after observing $O(1/ε)$ $d$-dimensional data points. This matches the error bound of the optimal, yet infeasible, algorithm that retains all data forever. We also show a nearly matching lower bound on the retention required to guarantee error $ε$. One implication of our results is that data retention laws are insufficient to guarantee the right to be forgotten even in a non-adversarial world in which firms merely strive to (approximately) optimize the performance of their algorithms. Our approach makes use of recent developments in the multidimensional random subset sum problem to simulate the progression of stochastic gradient descent under a model of adversarial noise, which may be of independent interest.

연구 동기 및 목표

• 강제로 데이터를 삭제해야 하는 온라인 학습 알고리즘에 대한 엄격한 데이터 보존 제약 조건이 미치는 영향을 모델링하기 위해.
• 이러한 제약 조건 하에서도 통계 학습 과제에서 최적의 성능를 달성할 수 있는지 조사하기 위해.
• 특히 평균 추정 및 선형 회귀에 대해 데이터 보존 기간 m과 알고리즘 오차 사이의 상호 관계를 분석하기 위해.
• 주도적인 데이터 정제 전략이 단순히 가능한 한 오랫동안 데이터를 유지하는 전략보다 우월할 수 있음을 보여주기 위해.
• 비적대적 설계자조차도 데이터 정제 과정을 통해 삭제된 데이터에 대한 정보를 빠르게 유출할 수 있음을 보여주기 위해.

제안 방법

• 알고리즘이 저장할 수 있는 데이터 포인트의 부분집합만 유지하고, 각 데이터 포인트는 m라운드 이후 반드시 삭제되어야 하는 프레임워크를 제안한다.
• 그룹화 전략을 사용한다: 데이터 포인트는 크기가 k인 그룹으로 묶이며, 각 그룹의 최대우도추정량(MLE)을 계산한다.
• 스토하스틱 그래디언트 디센트에서 유도된 목표점에 가장 가까운 평균을 가지는 그룹 추정량의 부분집합을 선택하기 위해 복호화 절차를 적용한다.
• 행렬 체르노프 경계를 적용하여 그룹 추정량이 진짜 매개변수 주변에 부드럽게 분포함을 보이고, 정확한 근사가 가능함을 보여준다.
• 이전 연구에서의 정리 3.5를 사용하여 추정 과정에서의 인코딩 오차를 유계로 제한하며, 추정 오차를 적대적 노이즈로 간주한다.
• 이러한 구성 요소들을 조합하여 시간이 지남에 따라 대표적인 부분표본을 유지하는 온라인 알고리즘을 구성한다. 이는 데이터 삭제 이후에도 낮은 오차를 유지함을 보장한다.

실험 결과

연구 질문

• RQ1 고정된 라운드 수 이후 데이터를 삭제해야 하는 조건에서 온라인 학습 알고리즘이 거의 최적의 통계 성능을 달성할 수 있는가?
• RQ2 평균 추정 및 선형 회귀에서 오차 ε를 달성하기 위해 필요한 최소 보존 윈도우 m은 얼마인가?
• RQ3 강제 삭제로 인한 데이터 손실을 보완하기 위해 주도적인 데이터 정제 전략이 어느 정도 기여할 수 있는가?
• RQ4 법적 보존 규칙을 준수하고 성능 최적화를 추구하는 알고리즘이라도 삭제된 데이터에 대한 정보를 유출할 수 있는가?
• RQ5 보존 제약이 있는 알고리즘의 성능은 무한 보존 기간을 가진 이상적 기준 대비 어떻게 비교되는가?

주요 결과

• m = Poly(d, log(1/ε))일 때, 제안된 알고리즘은 d차원 데이터 포인트 O(1/ε)개를 관측한 후 평균 제곱오차 ε를 달성한다.
• 이 성능는 모든 데이터를 영구히 보존하는 이상적이지만 실현 불가능한 알고리즘과 동일하다.
• 이 오차 ε를 달성하기 위해 필요한 m에 대한 거의 동일한 하한선이 확립되었으며, Poly(d, log(1/ε))가 점 渐진적으로 필수적임을 보여준다.
• 이 프레임워크는 단지 데이터 보존 법만으로는 삭제된 권리(잊혀질 권리)를 보장하지 못함을 드러낸다. 비적대적 환경에서도 마찬가지다.
• 알고리즘이 데이터 정제 과정을 통해 삭제된 데이터에 대한 정보를 암시적으로 인코딩할 수 있음을 보여주며, 이는 실행 수준의 제약 조건이 정보 유출을 방지하지 못할 수 있음을 시사한다.
• 그룹화된 MLE의 사용과 행렬 체르노프 경계를 통한 적대적 노이즈 모델링을 통해, 엄격한 삭제 제약 조건 하에서도 정확한 추정이 가능하다.