[논문 리뷰] Local Differential Privacy for Evolving Data

Matthew Joseph, Aaron Roth외 2명|arXiv (Cornell University)|2018. 02. 20.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 24

한 줄 요약

이 논문은 실제 분포 변화의 수에만 의존하는 개인 정보 손실을 보장함으로써, 반복적인 데이터 수집에도 불구하고 정확하고 장기적인 인구 통계 추적을 가능하게 하는 새로운 국소적 미분적 보안 메커니즘을 소개한다. 그룹별로 다른 데이터 분포와 적응형 보고 주기를 활용함으로써, 오류는 시간이 아닌 분포 이동에 따라 스케일링되며, 애플 및 구글의 시스템과 같은 실세계 구현에서 개인 정보-유용성 트레이드오프를 크게 향상시킨다.

ABSTRACT

There are now several large scale deployments of differential privacy used to collect statistical information about users. However, these deployments periodically recollect the data and recompute the statistics using algorithms designed for a single use. As a result, these systems do not provide meaningful privacy guarantees over long time scales. Moreover, existing techniques to mitigate this effect do not apply in the "local model" of differential privacy that these systems use. In this paper, we introduce a new technique for local differential privacy that makes it possible to maintain up-to-date statistics over time, with privacy guarantees that degrade only in the number of changes in the underlying distribution rather than the number of collection periods. We use our technique for tracking a changing statistic in the setting where users are partitioned into an unknown collection of groups, and at every time period each user draws a single bit from a common (but changing) group-specific distribution. We also provide an application to frequency and heavy-hitter estimation.

연구 동기 및 목표

• 반복적인 데이터 수집으로 인해 시간이 지남에 따라 급격히 악화되는 국소 모델에서의 차별적 보안 간극을 해결하기 위해.
• 사용자가 기기에서 데이터를 무작위화하여 신뢰할 수 없는 서버에 전송하는 국소적 미분적 보안 모델에서, 변화하는 인구 통계를 정확하고 장기적으로 추적할 수 있도록 하기 위해.
• 실제로 데이터 분포에 변화가 발생한 횟수에 따라 개인 정보 손실과 오차 증가를 줄이기 위해, 보고 주기 수가 아닌 실제 분포 변화 수에 의존하도록 하기 위해.
• 자주 통계를 재계산하는 산업적 구현(예: 애플, 구글)을 위한 실용적 해결책을 제공하기 위해, 현재 단순한 재수집으로 인해 개인 정보가 악화되는 문제를 해결하기 위해.
• 사용자 행동 패턴의 변화(예: 인기 이모티콘 또는 검색어의 이동)를 신속하게 감지할 수 있도록 하되, 강력한 개인 정보 보호를 유지하기 위해

제안 방법

• 사용자를 알 수 없는 수의 하위군으로 모델링하며, 각 하위군은 시간에 따라 변하는 고유한 베르누이 분포를 가진다.
• 이중 단계 보고 메커니즘을 도입한다: 사용자는 랜덤라이즈드 리스폰스를 통해 왜곡된 비트 벡터를 전송하고, 서버는 변화가 감지될 때만 업데이트되는 글로벌 추정치를 유지한다.
• 핵심 혁신은 어떤 하위군의 분포가 변화할 경우에만 활성화되는 글로벌 업데이트 트리거의 사용으로, 불필요한 재계산을 최소화한다.
• 알고리즘은 농도 불등식과 개인 정보 예산 회계를 활용하여, 다수의 에포크에 걸쳐도 각 사용자의 기여가 정의된 개인 정보 예산 내에 유지됨을 보장한다.
• 하향식 추정 전략을 활용하여 하위군 수준의 추정치를 집계하고, 연속된 추정치 간의 차이에 대한 통계적 검정을 통해 변화를 감지한다.
• 사용자 행동 패턴의 실제 변화에 민감하게 반응하면서도 개인 정보, 정확도, 반응성 간 균형을 유지하기 위해 보고 주기(에포크 길이)를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 반복적인 데이터 수집에도 불구하고 장기간에 걸쳐 강력한 개인 정보 보호 보장을 유지할 수 있는 국소적 미분적 보안 메커니즘을 설계할 수 있는가?
• RQ2 기본 데이터 분포가 희소하게 변화할 경우, 국소 모델에서 변화하는 통계를 정확하게 추적하는 것이 여전히 가능한가?
• RQ3 개인 정보 손실을 보고 주기의 수가 아니라 실제 분포 변화의 수에 연결할 수 있는가?
• RQ4 사용자 수준의 개인 정보 보호를 유지하면서도 오차 증가를 최소화하면서 분포 이동을 효율적으로 감지할 수 있는가?
• RQ5 사용자 그룹화와 데이터 진화에 대한 현실적인 가정 하에서, 이러한 시스템의 이론적 정확도 한계는 무엇인가?

주요 결과

• 총 개인 정보 손실은 실제 분포 변화의 수에만 비례하여 증가하며, 보고 주기의 수에 따라 증가하지 않아 시간에 대해 비선형적으로 스케일링되는 개인 정보 보장 보장을 달성한다.
• 실제 분포 추정 오차는 $ 4(\text{log}(T)+2)√{\frac{2\ln(320n^{2}T/\delta)}{\ell}} + \sqrt{\frac{\ln(16ndT/\delta)}{n}} $ 이하로 유한 확률을 가짐. 여기서 $ \ell $ 는 각 에포크당 보고 수이다.
• 알고리즘은 어떤 사용자도 투표나 추정에 대해 개인 정보 예산을 초과하지 않음을 보장하여, 모든 업데이트에서 국소적 미분적 보안이 유지됨을 보장한다.
• 글로벌 업데이트 메커니즘은 연속된 두 개의 분포 변화 사이에 최대 한 번의 에포크 내에서만 활성화되며, 과도한 계산 없이도 민감하게 반응함을 보장한다.
• 실제 변화 수가 적을 경우 정확도 한계가 크게 향상되어, 이모티콘 인기나 검색 트렌드와 같은 천천히 변화하는 통계에 매우 효과적이다.
• 이론적 분석은 특히 사용자 행동 변화가 희소하고 적절한 크기의 에포크로 데이터 수집이 이루어지는 경우, 유리한 개인 정보-정확도 트레이드오프를 달성함을 확인한다.