[논문 리뷰] Communication Efficient, Sample Optimal, Linear Time Locally Private Discrete Distribution Estimation.

Jayadev Acharya, Ziteng Sun외 1명|arXiv (Cornell University)|2018. 02. 13.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 $\varepsilon$-국소적 차별적 개인정보 보호 하에서 이산 분포 추정을 위한 통신 효율적이고 샘플 최적, 선형 시간 복잡도를 갖는 로컬 비밀 보장 메커니즘인 하다르드 응답(Hadamard Response, HR)을 제안한다. 하다르드 행렬과 빠른 월리스-하다르드 변환(Fast Walsh-Hadamard transform)을 활용함으로써 HR는 각 사용자당 $\log k + 2$ 비트의 통신량과 근사 선형 $O(nk)$의 시간 복잡도를 달성하여, $k=10,000$일 때 기존의 RAPPOR 및 부분집합 선택 기법보다 최대 100배 빠른 성능을 보이며, 모든 비밀 보장 영역에서 순서 최적의 샘플 복잡도를 확보한다.

ABSTRACT

We consider discrete distribution estimation over $k$ elements under $\varepsilon$-local differential privacy from $n$ samples. The samples are distributed across users who send privatized versions of their sample to the server. All previously known sample optimal algorithms require linear (in $k$) communication complexity in the high privacy regime $(\varepsilon<1)$, and have a running time that grows as $n\cdot k$, which can be prohibitive for large domain size $k$. We study the task simultaneously under four resource constraints, privacy, sample complexity, computational complexity, and communication complexity. We propose \emph{Hadamard Response (HR)}, a local non-interactive privatization mechanism with order optimal sample complexity (for all privacy regimes), a communication complexity of $\log k+2$ bits, and runs in nearly linear time. Our encoding and decoding mechanisms are based on Hadamard matrices, and are simple to implement. The gain in sample complexity comes from the large Hamming distance between rows of Hadamard matrices, and the gain in time complexity is achieved by using the Fast Walsh-Hadamard transform. We compare our approach with Randomized Response (RR), RAPPOR, and subset-selection mechanisms (SS), theoretically, and experimentally. For $k=10000$, our algorithm runs about 100x faster than SS, and RAPPOR.

연구 동기 및 목표

• 고비밀 보장 영역($\varepsilon < 1$)에서 기존의 국소적 차별적 개인정보 보호 메커니즘의 높은 통신 비용과 계산 비용을 해결하기 위해.
• 모든 비밀 보장 영역($\varepsilon$-LDP)에서 최적의 샘플 복잡도를 달성하는 국소적 비밀 보장 메커니즘을 설계하기 위해.
• 정확도를 유지하면서 사용자당 통신 복잡도를 $\log k + 2$ 비트로 감소시키기 위해.
• 기존의 $O(nk)$ 알고리즘보다 상수 항이 더 큰 바탕으로, 거의 선형 $O(nk)$ 실행 시간을 달성하기 위해.

제안 방법

• 제안된 하다르드 응답(HR) 메커니즘은 하다르드 행렬에 기반한 비상호작용적이고 국소적 비밀 보장 방식을 사용한다.
• 각 사용자는 하다르드 행렬의 한 행을 사용하여 자신의 샘플을 인코딩함으로써, 코드워드 간의 해밍 거리가 크게 확보되어 추정의 정확도를 높인다.
• 서버는 비밀 보장된 보고를 효율적으로 복호화하고 기저 분포를 추정하기 위해 빠른 월리스-하다르드 변환(Fast Walsh-Hadamard Transform, FWHT)을 적용한다.
• 하다르드 행렬의 직교성과 높은 거리 성질을 활용하여 통신 비용을 최소화하면서 추정 오차를 최소화한다.
• 인코딩 및 복호화 과정은 계산적으로 경량화되어 거의 선형 시간 복잡도를 달성한다.
• 이론적 분석을 통해 HR가 모든 $\varepsilon$-LDP 영역에서 순서 최적의 샘플 복잡도를 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 고비밀 보장 영역($\varepsilon < 1$)에서 최적의 샘플 복잡도와 비선형 통신 비용을 동시에 확보할 수 있는 국소적 비밀 보장 분포 추정 메커니즘이 존재할 수 있는가?
• RQ2 정확도를 유지하면서 국소적 비밀 보장 추정의 계산 복잡도를 $O(nk)$에서 거의 선형 시간으로 줄일 수 있는가?
• RQ3 하다르드 행렬의 사용이 국소적 차별적 개인정보 보호에서 통신 효율성과 추정 정확도를 어떻게 향상시키는가?
• RQ4 속도와 통신 비용 측면에서 기존 메커니즘인 랜덤라이즈드 응답, RAPPOR, 부분집합 선택 기법에 비해 HR의 성능 향상은 어떠한가?
• RQ5 빠른 월리스-하다르드 변환은 대규모 도메인의 이산 분포 추정에서 복호화를 가속화하는 데 효과적으로 활용될 수 있는가?

주요 결과

• $k = 10,000$일 때 제안된 하다르드 응답 알고리즘이 부분집합 선택(SS) 기법과 RAPPOR보다 약 100배 빠르게 작동한다.
• HR의 통신 복잡도는 기존의 $k$에 선형적인 접근 방식보다 훨씬 낮은 $\log k + 2$ 비트로 감소하였다.
• HR는 고비밀 보장 영역($\varepsilon < 1$)을 포함하여 모든 비밀 보장 영역에서 순서 최적의 샘플 복잡도를 달성한다.
• 빠른 월리스-하다르드 변환의 사용으로 거의 선형 $O(nk)$의 실행 시간이 달성되었으며, 이는 기존 $O(nk)$ 알고리즘의 높은 상수 항을 개선한 것이다.
• 이론적 및 실험적 결과는 HR이 최소한의 통신 및 계산 오버헤드로 높은 추정 정확도를 유지함을 확인한다.
• 하다르드 행렬의 행 간에 큰 해밍 거리가 존재함으로써, 비밀 보장된 추정에서 샘플 효율성과 강건성이 직접적으로 향상된다.