[논문 리뷰] Exact Optimality of Communication-Privacy-Utility Tradeoffs in Distributed Mean Estimation

Berivan Isik, Weining Chen외 3명|arXiv (Cornell University)|2023. 06. 08.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 공유된 랜덤성 하에서 분산 평균 추정에 대한 통신-개인정보-유용성 최적 메커니즘을 제안하며, k-가장 가까운 인코딩을 갖는 랜덤 로테이팅 심플렉스 코드( RRSC)를 도입한다. 회전 대칭 코드북—특히 무작위로 회전된 심플렉스—가 정확한 최적성에 필수적임을 보여줌으로써, 최소한의 통신과 стрict한 국소적 차별적 프라이버시(LDP) 제약 조건 하에서 최적의 평균 제곱 오차를 달성한다.

ABSTRACT

We study the mean estimation problem under communication and local differential privacy constraints. While previous work has proposed \emph{order}-optimal algorithms for the same problem (i.e., asymptotically optimal as we spend more bits), \emph{exact} optimality (in the non-asymptotic setting) still has not been achieved. In this work, we take a step towards characterizing the \emph{exact}-optimal approach in the presence of shared randomness (a random variable shared between the server and the user) and identify several conditions for \emph{exact} optimality. We prove that one of the conditions is to utilize a rotationally symmetric shared random codebook. Based on this, we propose a randomization mechanism where the codebook is a randomly rotated simplex -- satisfying the properties of the \emph{exact}-optimal codebook. The proposed mechanism is based on a $k$-closest encoding which we prove to be \emph{exact}-optimal for the randomly rotated simplex codebook.

연구 동기 및 목표

• 공유된 랜덤성 하에서 통신 및 국소적 차별적 프라이버시(LDP) 제약 조건이 동시에 존재할 때 정확한 최적성에 대한 격차를 메운다.
• 공유된 랜덤성이 존재할 때 정확한 최적성의 필요 조건을 규명한다.
• 점근적 설정이 아닌 비점근적 설정에서도 정확한 최적성을 달성하는 메커니즘을 개발한다.
• LDP 및 통신 제약 조건을 만족하면서 코드워드 간 거리를 극대화하는 코드북 생성 전략을 설계한다.
• 제안된 방법이 통신 예산이 증가함에 따라 기존에 알려진 최적 메커니즘인 PrivUnit에 점차 수렴함을 보여준다.

제안 방법

• 공유된 랜덤성을 사용하여 ε-LDP 제약 조건 하에서 손실 압축 문제로 문제를 재구성한다.
• 서버와 사용자가 공유된 랜덤성을 사용해 크기가 M=2^b인 코드북을 공동으로 생성하는 '코드북을 갖는 랜덤 코딩'을 최적 프레임워크로 도입한다.
• 정확한 최적성을 달성하기 위해 코드북 생성 분포가 회전 대칭이어야 한다는 것을 증명한다.
• 랜덤 로테이팅 심플렉스 코드(RRSC)를 제안하며, 이는 정규 심플렉스의 균일한 무작위 회전이다.
• k-가장 가까운 인코딩을 구현한다: 사용자는 입력 벡터에 가장 가까운 k개의 코드워드를 더 높은 표본 확률로 선택한다.
• 이 인코딩 방식이 ε-LDP 및 b비트 통신 제약 조건 하에서 RRSC 코드북에 대해 정확한 최적성을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 공유된 랜덤성이 존재할 때 분산 평균 추정에서 정확한 최적성을 달성하기 위해 코드북 생성 분포에 필요한 조건은 무엇인가?
• RQ2 통신 및 ε-LDP 제약 조건이 동시에 존재할 때 정확한 최적성(단지 순서 최적성만이 아닌)을 달성할 수 있는 메커니즘을 구성할 수 있는가?
• RQ3 특히 무작위로 회전된 심플렉스인 회전 대칭 코드북의 사용이 유용성과 프라이버시의 트레이드오프를 어떻게 향상시키는가?
• RQ4 제안된 RRSC 메커니즘과 기존의 순서 최적 메커니즘인 PrivUnit 또는 MMRC 사이의 관계는 무엇인가?
• RQ5 제안된 방법이 코드워드 수 M이 입력 차원 d를 초과하는 경우에도 확장 가능할 수 있는가?

주요 결과

• 공유된 랜덤성이 존재할 때 정확한 최적 코드북 생성 분포는 반드시 회전 대칭이어야 하며, 즉 무작위 회전에 대해 불변이어야 한다.
• k-가장 가까운 인코딩을 갖는 랜덤 로테이팅 심플렉스 코드(RRSC)는 주어진 통신 및 프라이버시 제약 조건 하에서 정확한 최적성을 달성한다.
• 제안된 메커니즘은 이론적 하한선과 정확히 일치하는 평균 제곱 오차(MSE)를 달성하여 비점근적 영역에서 정확히 최적임을 입증한다.
• 통신 예산이 b ≤ log d(즉, M < d)를 만족할 경우, RRSC 코드북은 유효하며 최대 코드워드 간 거리로 인해 최적 성능을 달성한다.
• 통신 예산 b가 증가함에 따라 제안된 방법은 점차 PrivUnit, 즉 ε-LDP 하에서 알려진 최적 메커니즘에 수렴한다.
• M ≥ d인 경우, 구면 상에서 거의 최대로 분리된 M개의 벡터를 사용하여 방법을 확장할 수 있으며, 동일한 제약 조건 하에서도 최적성을 유지한다.