[논문 리뷰] LoPub: High-Dimensional Crowdsourced Data Publication with Local Differential Privacy

Xuebin Ren, Chia-Mu Yu외 5명|Aston Publications Explorer (Aston University)|2016. 12. 13.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 71

한 줄 요약

LoPub는 로컬 미분적 보안을 통해 고차원의 컨소시엄 데이터를 공개하기 위한 프레임워크를 제안한다. EM과 라소 회귀를 병행하여 다변량 분포를 추정함으로써 기밀성과 유용성을 동시에 확보한다. 이는 기준선 EM 대비 최대 1,000배 빠른 높은 효율성과, 엄격한 기밀성 예산 조건에서도 분류 정확도 67% 이상을 유지하는 뛰어난 유용성을 달성한다.

ABSTRACT

High-dimensional crowdsourced data collected from a large number of users produces rich knowledge for our society. However, it also brings unprecedented privacy threats to participants. Local privacy, a variant of differential privacy, is proposed as a means to eliminate the privacy concern. Unfortunately, achieving local privacy on high-dimensional crowdsourced data raises great challenges on both efficiency and effectiveness. Here, based on EM and Lasso regression, we propose efficient multi-dimensional joint distribution estimation algorithms with local privacy. Then, we develop a Locally privacy-preserving high-dimensional data Publication algorithm, LoPub, by taking advantage of our distribution estimation techniques. In particular, both correlations and joint distribution among multiple attributes can be identified to reduce the dimension of crowdsourced data, thus achieving both efficiency and effectiveness in locally private high-dimensional data publication. Extensive experiments on real-world datasets demonstrated that the efficiency of our multivariate distribution estimation scheme and confirm the effectiveness of our LoPub scheme in generating approximate datasets with local privacy.

연구 동기 및 목표

• 고차원의 컨소시엄 데이터를 공개하면서도 로컬 기밀성을 보장하는 데 도전하는 것.
• 고차원이고 상관관계가 있는 데이터 환경에서 기존 방법의 비효율성과 유용성 손실 문제를 해결하는 것.
• 로컬 기밀성 제약 조건 하에서 다변량 공동 분포 추정의 확장성과 정확도를 확보하는 방법을 개발하는 것.
• 상관관계를 유지하고 차원을 감소시키며 기밀성을 훼손하지 않으면서 효과적인 데이터 공개를 가능하게 하는 것.
• 실제 컨소시엄 감시 응용 분야에서 계산 효율성과 데이터 유용성의 균형을 이루는 것.

제안 방법

• 사용자 데이터를 국소적으로 기밀 보장하는 방식으로 전송하기 전에 원천에서 흐림 처리함으로써 로컬 기밀성을 적용함으로써 중앙 서버에 대한 신뢰가 필요 없도록 함.
• EM 알고리즘을 사용해 반복적으로 국소 기밀 데이터로부터 다변량 공동 분포를 추정함으로써 수렴성과 정확도를 향상시킴.
• 희소성과 계산 복잡도 감소를 활용하여 공동 분포 학습을 가속화하기 위해 라소 기반 추정을 도입함.
• 라소와 EM을 융합한 하이브리드 접근 방식(Lasso+EM_JD)을 통해 EM의 초기값으로 희소이면서 고품질의 추정치를 제공함으로써 수렴 속도와 정확도를 향상시킴.
• 상관관계 식별을 통해 차원을 감소시키고 희소성을 증가시켜 추정 효율성과 데이터 유용성을 향상시킴.
• 추정된 분포에서 합성 데이터를 생성하여 기밀성과 유용성을 동시에 유지하는 데이터셋을 공개함.

실험 결과

연구 질문

• RQ1 고차원의 컨소시엄 데이터에 대해 로컬 기밀성 하에서 다변량 공동 분포를 효율적으로 추정하는 방법은 무엇인가?
• RQ2 로컬 기밀성 하에서 고차원 데이터 공개 시 계산 효율성과 추정 정확도 사이의 상호 상충 관계는 어떻게 되는가?
• RQ3 공동 분포 추정이 분류와 같은 후속 분석을 위한 충분한 데이터 유용성을 유지할 수 있는가?
• RQ4 라소와 기반 추정 방법 간에 속도, 정확도, 기밀성-유용성 트레이드오프 측면에서의 성능 비교는 어떻게 되는가?
• RQ5 상관관계 식별은 얼마나 효과적으로 차원을 감소시키고, 로컬 기밀성 데이터 공개의 효율성을 향상시킬 수 있는가?

주요 결과

• 라소+EM_JD 하이브리드 방법이 정확도와 효율성의 최적 균형을 달성하였으며, 기밀성 예산이 증가함에 따라 점진적으로 성능 저하가 발생하지만(f > 0.9), 빠른 수렴 특성을 유지함.
• 라소 기반 추정은 EM 기반 추정 대비 약 1,000배 빠른 속도를 기록했지만, 분류 작업에서는 더 높은 편향을 보였다.
• EM 기반 추정은 비록 계산 시간이 더 오래 걸리지만, 비이진 속성에서 특히 분류 정확도가 더 뛰어나 상대적으로 우수한 성능을 보였다.
• 조금 더 엄격한 기밀성 예산(f = 0.9) 조건에서도 랜덤 포레스트 분류 정확도가 최소 26%로 유지되었으며, 이는 13%의 무작위 추측 기준선보다 훨씬 높은 성능을 기록함.
• LoPub가 생성한 합성 데이터셋은 후속 분석에 충분한 정보를 유지하였으며, SVM 분류 정확도는 비기밀 기준선에 매우 가까웠다.
• 상관관계 식별을 통해 효과적인 차원 감소가 가능했으며, 이는 고차원 환경에서 효율성과 추정 정확도 향상에 기여함.