[논문 리뷰] Lossless Compression of Efficient Private Local Randomizers

Vitaly Feldman, Kunal Talwar|arXiv (Cornell University)|2021. 02. 24.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 4

한 줄 요약

이 논문은 표준 암호학적 가정 하에 강력한 의사난수 생성기(_PRG_)를 사용하여 국소적 차별적 비밀유지(LDP) 랜덤라이저를 손실 없이 압축하는 일반적인 방법을 제시한다. 이로 인해 통신 비용이 PRG 시드의 크기로 줄어들며, 비밀유지성과 유효성은 그대로 유지된다. 이 방법은 고비밀유지 영역(ε > 1)에서 이전의 압축된 LDP 알고리즘보다 오차를 최대 5배까지 낮춘다.

ABSTRACT

Locally Differentially Private (LDP) Reports are commonly used for collection of statistics and machine learning in the federated setting. In many cases the best known LDP algorithms require sending prohibitively large messages from the client device to the server (such as when constructing histograms over large domain or learning a high-dimensional model). This has led to significant efforts on reducing the communication cost of LDP algorithms. At the same time LDP reports are known to have relatively little information about the user's data due to randomization. Several schemes are known that exploit this fact to design low-communication versions of LDP algorithm but all of them do so at the expense of a significant loss in utility. Here we demonstrate a general approach that, under standard cryptographic assumptions, compresses every efficient LDP algorithm with negligible loss in privacy and utility guarantees. The practical implication of our result is that in typical applications the message can be compressed to the size of the server's pseudo-random generator seed. More generally, we relate the properties of an LDP randomizer to the power of a pseudo-random generator that suffices for compressing the LDP randomizer. From this general approach we derive low-communication algorithms for the problems of frequency estimation and high-dimensional mean estimation. Our algorithms are simpler and more accurate than existing low-communication LDP algorithms for these well-studied problems.

연구 동기 및 목표

• 대역폭이 제한된 환경에서의 고성능 LDP 알고리즘의 높은 통신 비용을 해결한다. 특히 대도메인 또는 고차원 데이터에 대해 유의미하다.
• 이전의 압축 기법들이 특히 ε > 1 영역에서 유효성 저하 또는 ε 증가를 초래하는 한계를 극복한다.
• 모든 효율적인 LDP 랜덤라이저에 적용 가능한 일반적이고 손실 없는 압축 프레임워크를 개발한다. 이는 비밀유지성과 유효성 보장을 유지한다.
• 통신이 제한된 클라이언트 환경에서 고유효성 LDP 메커니즘의 실용적 구현을 가능하게 한다.
• 빈도 추정 및 고차원 평균 추정과 같은 잘 알려진 LDP 문제들에 대해 제안된 방법이 기존의 저통신량 접근법을 능가함을 입증한다.

제안 방법

• 모든 입력에 대해 LDP 랜덤라이저 R의 출력 분포와 ε-근접한 데이터에 의존하지 않는 기준 분포 ρ를 사용한다.
• R 내부의 진짜 난수 비트들을 강력한 의사난수 생성기(PRNG)를 통해 시드에서 생성된 의사난수 비트로 대체한다.
• R(x)를 모의하기 위해 ρ에서 유도된 의사난수 표본을 기반으로 거부 샘플링을 수행한다. 이 과정에서 비밀유지성은 유지된다.
• R(x)와 ρ의 밀도 비율을 비교하는 계산 능력이 제한된 테스트를 속이도록 PRG를 요구함으로써 비밀유지성을 확보한다.
• 표준 암호학적 가정(예: 지수적으로 강력한 PRG의 존재)을 활용하여 진짜 난수와의 계산적 불가분성을 확보한다.
• 특정 LDP 메커니즘인 PrivUnit과 PrivHS에 이 방법을 적용하여, 유효성 향상을 위한 분산 추정치 최적화를 위해 파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 어떤 효율적인 LDP 랜덤라이저의 출력도 비밀유지성과 유효성을 잃지 않고 압축할 수 있는가?
• RQ2 의사난수 압축이 ε-차별적 비밀유지성을 유지하기 위해 필요한 암호학적 가정은 무엇인가?
• RQ3 이 압축 기법은 빈도 추정 및 고차원 평균 추정과 같은 잘 알려진 LDP 문제에서 실제로 얼마나 잘 작동하는가?
• RQ4 이 압축 방법은 특히 ε > 1 영역에서 기존의 저통신량 LDP 알고리즘보다 더 뛰어난 유효성을 달성할 수 있는가?
• RQ5 다양한 런에 비밀유지 예산 ε를 나누는 것이 압축된 메커니즘의 오차와 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 압축 방법은 표준 암호학적 가정 하에 근본적인 손실 없이 비밀유지성과 유효성을 유지한다.
• d=2000 및 ε=8 조건에서, 추정 분산의 정확도가 3.5% 이내로 유지되어, 진짜 오차의 정확한 대체로 노름 추정치를 사용하는 것이 타당함을 검증한다.
• PrivUnitOptimized는 SQKR 대비 최대 5배, 표준 PrivUnit 대비 2.5배 낮은 기대 제곱오차를 기록하여, 이전의 압축된 LDP 알고리즘보다 뚜렷이 뛰어난 성능을 보였다.
• ε=8를 두 개의 ε=4 런으로 나누는 것은 기대 제곱오차를 약 2배로 증가시켜, 계산 비용과 정확도 사이의 상충 관계를 보여준다.
• 이 방법은 일반적이며, 향후 출시될 효율적인 LDP 랜덤라이저에 대해서도 재유도 없이 적용 가능하므로, 향후 유효성과 통신 효율성 향상에 기여할 수 있다.
• 압축으로 인해 메시지 크기가 PRG 시드의 길이로 줄어들어, 대역폭이 제한된 피어드레이티드 학습 및 데이터 수집 시스템에서의 실용적 구현이 가능해진다.