[논문 리뷰] Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters

Jayadev Acharya, Ziteng Sun|arXiv (Cornell University)|2019. 05. 28.

Wireless Communication Security Techniques인용 수 27

한 줄 요약

이 논문은 공개 랜덤성 없이 샘플 최적, 1비트, $\varepsilon$-로컬 미분적 보안 기반 분포 추정 기법을 제안하며, 최적의 유틸리티를 달성한다. Hadamard Response가 무거운 헤드러(heavy hitter) 추정에도 유틸리티 최적임을 보이며, 공개 랜덤성이 없는 조건에서 최적의 무거운 헤드러 추정을 위해 $\Omega(\min\{\log n, \log k\})$ 비트의 사용자당 통신이 필수적임을 증명한다. 이는 로컬 미분적 보안 하에서 분포 추정과 빈도 추정 간의 기본적인 통신 복잡도 격차를 드러낸다.

ABSTRACT

We consider the problems of distribution estimation and heavy hitter (frequency) estimation under privacy and communication constraints. While these constraints have been studied separately, optimal schemes for one are sub-optimal for the other. We propose a sample-optimal $\varepsilon$-locally differentially private (LDP) scheme for distribution estimation, where each user communicates only one bit, and requires no public randomness. We show that Hadamard Response, a recently proposed scheme for $\varepsilon$-LDP distribution estimation is also utility-optimal for heavy hitter estimation. Finally, we show that unlike distribution estimation, without public randomness where only one bit suffices, any heavy hitter estimation algorithm that communicates $o(\min \{\log n, \log k\})$ bits from each user cannot be optimal.

연구 동기 및 목표

• 최소한의 사용자 통신으로 통신 효율적인, 로컬으로 미분적 보장이 보장된 분포 추정 기법을 설계한다.
• $\varepsilon$-LDP 하에서 분포 추정과 무거운 헤드러 추정 모두에 대해 Hadamard Response의 최적성(utility-optimal)을 입증한다.
• 공개 랜덤성이 없는 조건에서 $\varepsilon$-LDP 하에서의 무거운 헤드러 추정에 대한 기본적인 통신 복잡도 한계를 규명한다.
• 로컬 미분적 보장 하에서 1비트 통신이 분포 추정에 최적임을 보이며, 무거운 헤드러 추정에는 최적일 수 없다는 것을 입증한다.

제안 방법

• 각 사용자에게 공개 랜덤성이 없는 사전-코인 기반의 1비트, $\varepsilon$-로컬 미분적 보장 채널을 제안한다.
• Hadamard 기반의 무작위 응답 메커니즘을 활용하여 $\varepsilon$-LDP를 확보하면서도 통신량을 최소화하고 유틸리티를 최대화한다.
• 채널 행렬과 출력 분포 간의 이중성 원리를 통해 분포 추정 문제를 빈도 추정 문제로 환원한다.
• Chebyshev 부등식 기반의 통계적 불가구별성 논증을 적용하여, 무거운 헤드러 추정에 대한 통신 복잡도 하한을 유도한다.
• 채널 하에서 동일한 출력 분포를 가지는 악성 입력 분포를 구성하여 추정 오차의 하한을 유도한다.
• 벡터 분해 기법을 활용해 채널 행렬의 영공간 방향을 식별함으로써, 빈도가 다른데도 서로 구별 불가능한 입력 분포를 구성한다.

실험 결과

연구 질문

• RQ1 공개 랜덤성이 없는 조건에서 1비트, $\varepsilon$-로컬 미분적 보장 기반 기법이 분포 추정에 대해 샘플 최적 성능를 달성할 수 있는가?
• RQ2 Hadamard Response는 분포 추정 외에도 $\varepsilon$-LDP 하에서 무거운 헤드러 추정에 대해 유틸리티 최적인가?
• RQ3 공개 랜덤성이 없는 조건에서 $\varepsilon$-LDP 하에서 최적의 무거운 헤드러 추정을 위해 사용자당 최소한의 통신은 얼마인가?
• RQ4 공개 랜덤성이 없는 조건에서 $\varepsilon$-LDP 하에서 분포 추정과 무거운 헤드러 추정의 통신 복잡도는 어떻게 다를까?

주요 결과

• 제안된 1비트, 사전-코인 기반 기법은 공개 랜덤성이 없는 조건에서 $\varepsilon$-로컬 미분적 보장 기반 분포 추정에 대해 샘플 최적 성능를 달성한다.
• Hadamard Response는 $\varepsilon$-LDP 하에서 분포 추정과 무거운 헤드러 추정 모두에 대해 유틸리티 최적임을 입증한다.
• 공개 랜덤성이 없는 조건에서 $\varepsilon$-LDP 기반 무거운 헤드러 추정 알고리즘이 사용자당 $o(\min\{\log n, \log k\})$ 비트 이하로 통신한다면 최적이 될 수 없다.
• 공개 랜덤성이 없는 조건에서 무거운 헤드러 추정의 통신 복잡도 하한은 사용자당 $\Omega(\log n + \log(1/\varepsilon))$ 비트이다.
• 이 하한은 공개 랜덤성이 없는 조건에서 1비트 통신만으로는 최적의 무거운 헤드러 추정이 불가능하다는 것을 암시한다.
• 실증 평가 결과, 제안된 1비트 기법은 RAPPOR 및 서브셋 선택과 같은 최첨단 기법과 유사한 $\ell_1$-오차 성능을 달성하면서도 사용자당 단 1비트의 통신만을 사용한다.