[논문 리뷰] Linear Queries Estimation with Local Differential Privacy

Raef Bassily|arXiv (Cornell University)|2018. 10. 05.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 16

한 줄 요약

이 논문은 고차원 설정에서 국소적 차별적 프라이버시(LDP) 하에서 선형 쿼리 추정을 위한 새로운 알고리즘을 제안하며, 최적의 L₂ 및 L∞ 추정 오차 한계를 달성한다. 볼록 다면체 위의 L₂ 투영과 기각 샘플링을 조합함으로써, 오프라인 설정에서는 차원 d에 의존하지 않는 오차를 보장하고, 적응형 쿼리에 대해 알려진 하한값과 일치한다.

ABSTRACT

We study the problem of estimating a set of $d$ linear queries with respect to some unknown distribution $\mathbf{p}$ over a domain $\mathcal{J}=[J]$ based on a sensitive data set of $n$ individuals under the constraint of local differential privacy. This problem subsumes a wide range of estimation tasks, e.g., distribution estimation and $d$-dimensional mean estimation. We provide new algorithms for both the offline (non-adaptive) and adaptive versions of this problem. In the offline setting, the set of queries are fixed before the algorithm starts. In the regime where $n\lesssim d^2/\log(J)$, our algorithms attain $L_2$ estimation error that is independent of $d$, and is tight up to a factor of $ ilde{O}\left(\log^{1/4}(J) ight)$. For the special case of distribution estimation, we show that projecting the output estimate of an algorithm due to [Acharya et al. 2018] on the probability simplex yields an $L_2$ error that depends only sub-logarithmically on $J$ in the regime where $n\lesssim J^2/\log(J)$. These results show the possibility of accurate estimation of linear queries in the high-dimensional settings under the $L_2$ error criterion. In the adaptive setting, the queries are generated over $d$ rounds; one query at a time. In each round, a query can be chosen adaptively based on all the history of previous queries and answers. We give an algorithm for this problem with optimal $L_{\infty}$ estimation error (worst error in the estimated values for the queries w.r.t. the data distribution). Our bound matches a lower bound on the $L_{\infty}$ error for the offline version of this problem [Duchi et al. 2013].

연구 동기 및 목표

• 특히 d ≫ n 인 고차원 영역에서 국소적 차별적 프라이버시(LDP) 하에서 정확한 선형 쿼리 추정의 과제를 해결한다.
• LDP 제약 조건 하에서 오프라인(비적응형) 및 적응형 쿼리 설정 모두에 효율적인 알고리즘을 개발한다.
• 유리한 영역에서 차원 d에 의존하지 않는 탴지 L₂ 및 L∞ 추정 오차 한계를 달성한다.
• 기존 하한값과 일치하는 이론적 보장을 제공하여 적응형 설정에서의 최적성을 입증한다.
• 이전의 분포 추정 및 평균 추정에 관한 LDP 연구를 포함하고 개선한다.

제안 방법

• 볼록 다면체 위의 L₂ 투영과 기각 샘플링을 조합하여 프라이버시와 정확성을 보장하는 새로운 오프라인 알고리즘을 제안한다.
• 각 사용자의 데이터에 대해 정밀하게 校정된 노이즈를 갖춘 랜덤라이즈드 리스폰스 메커니즘을 사용하여 국소적 차별적 프라이버시를 만족시킨다.
• 적응형 설정을 위해, 사용자를 균일한 해싱을 통해 라운드에 무작위로 할당하는 프로토콜을 설계하여 각 쿼리가 신선한 부분집합으로 응답되도록 한다.
• 집중 불등식을 적용하여, 사용자들이 잘 분할된 조건 하에서 라운드 간 평균 응답의 L∞ 추정 오차를 근사한다.
• Chernoff 한계를 활용하여, 높은 확률로 각 라운드에 최소 n/(2d)명 이상의 활성 사용자가 존재함을 보여주며 정확한 추정을 가능하게 한다.
• 평균 응답의 sub-Gaussian 尾部 분석을 통해 오차 한계를 유도하여, √(d log d / n) 비례로 최적의 L∞ 오차 스케일링을 이룬다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 LDP 하에서 선형 쿼리 추정이 차원 d에 의존하지 않는 오차를 달성할 수 있는가?
• RQ2 적응형 LDP 설정에서 선형 쿼리에 대해 달성 가능한 최적의 L∞ 추정 오차는 무엇인가?
• RQ3 L₂ 투영과 기각 샘플링을 어떻게 조합하여 오프라인 LDP 쿼리 추정의 정확도를 향상시킬 수 있는가?
• RQ4 기존 LDP 알고리즘(예: ASZ18)의 출력을 단체에 투영함으로써 도메인 크기 J에 대해 로그 이하의 오차 의존성을 달성할 수 있는가?
• RQ5 LDP 기반 선형 쿼리 추정에서 프라이버시, 정확도, 차원성 간의 기본적인 상충 관계는 무엇인가?

주요 결과

• 오프라인 설정에서 n ≲ d² / log J 일 때, L₂ 추정 오차는 d에 의존하지 않으며, Õ(log¹ᐟ⁴ J) 요소 이내이다.
• 분포 추정에 대해, ASZ18의 출력을 단체에 투영하면 n ≲ J² / log J 일 때 L₂ 오차가 J에 대해 로그 이하로 의존한다.
• 적응형 설정에서 제안된 프로토콜은 O(c_ε r √(d log d / n)) 의 L∞ 추정 오차를 달성하며, 오프라인 LDP에 대한 알려진 하한값과 일치한다.
• 알고리즘은 높은 확률(1 - o(1))로 각 라운드에 최소 n/(2d)명 이상의 활성 사용자가 존재함을 보장하여, 농도 기반 오차 한계를 가능하게 한다.
• 조건 n ≥ 8d log n 하에서 오차 한계는 √(d log d / n) 항에 의해 지배되며, 이는 두 번째 항이 무시할 수 있음을 의미한다.
• 분석을 통해 적응형 프로토콜이 L∞ 오차 측면에서 최적임을 확인하였으며, DJW13b의 오프라인 문제에 대한 하한값과 일치한다.