[논문 리뷰] Conditional Analysis for Key-Value Data with Local Differential Privacy

Lin Sun, Jun Zhao외 4명|arXiv (Cornell University)|2019. 07. 11.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 15

한 줄 요약

이 논문은 키-값 데이터 분석을 위한 국소적 미분적 비밀유지(LDP) 메커니즘을 제안하며, 강력한 비밀유지 보장을 확보하면서도 정확한 빈도 및 평균 추정을 위한 새로운 인코딩 및 디코딩 방법을 도입한다. 또한 키와 값 간의 상관관계를 모델링하기 위해 조건부 분석을 도입하여, 특히 저평균 영역에서 이전 방법들에 비해 더 낮은 추정 오차를 달성한다.

ABSTRACT

Local differential privacy (LDP) has been deemed as the de facto measure for privacy-preserving distributed data collection and analysis. Recently, researchers have extended LDP to the basic data type in NoSQL systems: the key-value data, and show its feasibilities in mean estimation and frequency estimation. In this paper, we develop a set of new perturbation mechanisms for key-value data collection and analysis under the strong model of local differential privacy. Since many modern machine learning tasks rely on the availability of conditional probability or the marginal statistics, we then propose the conditional frequency estimation method for key analysis and the conditional mean estimation for value analysis in key-value data. The released statistics with conditions can further be used in learning tasks. Extensive experiments of frequency and mean estimation on both synthetic and real-world datasets validate the effectiveness and accuracy of the proposed key-value perturbation mechanisms against the state-of-art competitors.

연구 동기 및 목표

• 낮은 평균 값에서의 성능이 열악한 기존 LDP 방법의 한계를 해결한다.
• 낮은 통신 비용을 확보하면서도 ε-차별적 비밀유지 보장을 보장하는 효율적이고 비상호작용식 인코딩 및 디코딩 메커니즘을 개발한다.
• 키-값 데이터에서 조건부 분석을 가능하게 하여 키와 해당 값 간의 종속성을 모델링하고 고급 분석을 지원한다.
• 최신 LDP 기법을 최적화된 이산화 및 노이즈 주입과 결합하여 빈도 및 평균 추정의 정확도를 향상시킨다.
• 제안된 메커니즘의 이론적 및 실증적 검증을 수행하며, 특히 다양한 데이터 분포와 비밀유지 예산에서의 성능을 평가한다.

제안 방법

• 최적화된 노이즈 주입을 사용하는 랜덤라이즈드 리스폰스를 활용한 새로운 편향 방법인 KVUE 메커니즘을 제안하여 키-값 데이터의 추정 정확도를 향상시킨다.
• 기본값 인코딩과 분산 감소를 활용하여 평균 추정을 향상시키는 F2M(Frequency-to-Mean) 및 KVOH(Key-Value Optimal Hashing) 메커니즘을 도입한다.
• 다중 키를 통한 연합 빈도 및 조건부 평균 추정을 가능하게 하는 원핫 인코딩 체계를 설계하여 집계자가 조건부 분석을 수행할 수 있도록 한다.
• 추정 오차가 반복 과정에서 누적됨을 이론적으로 분석하고, 편향 없는 평균 추정을 달성하기 위해 반복적 개선 기법을 제안한다.
• 고차원 조건부 분석에서 통신 및 계산 비용을 줄이기 위한 향후 최적화 방향으로 히드라드 변환을 적용한다.
• 기존의 LDP 기법—예를 들어 랜덤라이즈드 리스폰스 및 히스토그램 기반 추정—을 키-값 데이터를 위한 통합 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 낮은 평균 값에서 국소적 미분적 비밀유지 하에서 키-값 데이터의 빈도 및 평균 추정 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 낮은 통신 및 계산 오버헤드로 강력한 비밀유지 보장을 달성할 수 있는 인코딩 및 디코딩 메커니즘은 무엇인가?
• RQ3 키-값 데이터에서 조건부 분석을 어떻게 체계화하고 구현할 수 있는가? 이를 통해 키와 관련된 값 간의 상관관계를 어떻게 모델링할 수 있는가?
• RQ4 F2M와 같은 평균 추정 메커니즘에서 기본값 선택이 추정 정확도에 어떤 영향을 미치는가?
• RQ5 조건부 분석에서 차원 수가 증가함에 따라 추정 오차는 어떻게 변화하는가? 이 방법의 실용적 한계는 무엇인가?

주요 결과

• KVUE 메커니즘은 모든 테스트 데이터셋과 비밀유지 예산에서 빈도 및 평균 추정에 있어 가장 낮은 추정 오차를 기록한다.
• F2M 및 KVOH 메커니즘은 수용 가능한 정확도를 보이며, 저평균 영역에서 PrivKVM 및 PrivKV를 능가한다.
• 키 빈도가 높아질수록 추정 오차가 감소하며, 더 많은 데이터가 추정을 안정화시킨다.
• F2M의 기본값 선택은 평균 추정 정확도에 거의 영향을 주지 않으며, 이는 이산화 노이즈가 랜덤라이즈드 리스폰스 노이즈에 의해 지배됨을 시사한다.
• 조건부 빈도 및 평균 추정 오차는 차원 수 증가에 따라 증가한다. 이는 인코딩된 공간의 지수적 증가(O(d³)) 때문이며, 이는 실용적 제약을 초래한다.
• 조건부 평균 추정 오차는 조건부 빈도 추정 오차보다 항상 낮다. 이는 빈도 오차가 평균 추정에 영향을 미치기 때문이다.