[논문 리뷰] A simple and practical algorithm for differentially private data release

Moritz Hardt, Katrina Ligett외 1명|arXiv (Cornell University)|2010. 12. 21.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 303

한 줄 요약

이 논문은 Exponential Mechanism와 Multiplicative Weights를 조합하여 고정된 비밀성 파rameter 하에서 실제 데이터셋에서 이전 방법 대비 최대 세 개의 지수 정도의 정확도 향상을 달성하는 간단하고 실용적인 비밀성 보장 알고리즘인 MWEM을 소개한다. 이 알고리즘은 이론적으로 최신 수준의 보장을 제공하며, 수천 개의 속성을 가진 분야로도 확장 가능하다.

ABSTRACT

We present new theoretical results on differentially private data release useful with respect to any target class of counting queries, coupled with experimental results on a variety of real world data sets. Specifically, we study a simple combination of the multiplicative weights approach of [Hardt and Rothblum, 2010] with the exponential mechanism of [McSherry and Talwar, 2007]. The multiplicative weights framework allows us to maintain and improve a distribution approximating a given data set with respect to a set of counting queries. We use the exponential mechanism to select those queries most incorrectly tracked by the current distribution. Combing the two, we quickly approach a distribution that agrees with the data set on the given set of queries up to small error. The resulting algorithm and its analysis is simple, but nevertheless improves upon previous work in terms of both error and running time. We also empirically demonstrate the practicality of our approach on several data sets commonly used in the statistical community for contingency table release.

연구 동기 및 목표

• 이론적 보장이 강력하고 유효성과 비밀성의 균형을 이룰 수 있는 비밀성 보장 알고리즘을 개발한다.
• 기존 비밀성 보장 기법이 종종 과도한 노이즈를 추가하는 것과 비교해 실제 데이터셋에서의 정확도를 향상시킨다.
• 질의의 구조에 깊은 수학적 이해이 필요 없는, 간단하게 구현하고 사용할 수 있는 방법을 만든다.
• 2^1000까지의 도메인 크기를 가진 고차원 데이터셋에까지 확장 가능한 방법을 개발한다.
• 통계적 성질을 유지하는 일관되고 후속 작업에 호환 가능한 합성 데이터 생성을 가능하게 한다.

제안 방법

• 알고리즘은 데이터 도메인 위에 근사 분포를 반복적으로 개선하기 위해 Multiplicative Weights 업데이트 규칙을 사용한다.
• 현재 근사와 가장 불일치하는 질의를 선택하기 위해 Exponential Mechanism을 사용한다.
• 각 질의는 라플라스 기반 메커니즘을 통해 비밀성 보장으로 응답되며, ε-비밀성 보장이 보장된다.
• 근사 분포의 인자 분해 표현을 유지함으로써 고차원 데이터에서의 효율적 계산을 가능하게 한다.
• 가능한 한 속성을 독립적인 구성 요소로 동적으로 분할함으로써 계산 복잡도를 감소시킨다.
• 확장 가능한 병렬 구현 방식의 Multiplicative Weights를 통합하며, 최대 1000개의 속성을 가진 데이터셋을 지원한다.

실험 결과

연구 질문

• RQ1 간단하고 일반적인 목적의 알고리즘이 실제 데이터셋에서 기존 비밀성 보장 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 Exponential Mechanism를 Multiplicative Weights와 통합함으로써 질의 정확도는 어떻게 향상되고 노이즈는 어떻게 감소하는가?
• RQ3 이 알고리즘이 도메인 크기가 2^1000에 이르는 고차원 데이터에 얼마나 잘 확장되는가?
• RQ4 근사 분포의 인자 표현 방식이 정확도를 훼손하지 않으면서 실행 시간을 크게 줄일 수 있는가?
• RQ5 특정 질의 유형(예: 범위 질의, 연관표, 데이터 큐브)을 위해 설계된 전문화된 알고리즘보다 성능이 뛰어나게 되는가?

주요 결과

• 고정된 비밀성 파rameter 하에서 여러 실제 데이터셋의 범위 질의에 대해 MWEM은 이전 작업 대비 최대 세 개의 지수 정도의 정확도 향상을 달성했다.
• 연관표 생성 벤치마크에서, MWEM은 테스트된 모든 통계 기준에서 이전 작업을 능가했다.
• 데이터 큐브 생성에서는 특정 최적화 기준을 위해 설계된 전문화된 알고리즘보다도 MWEM이 뛰어난 성능을 보이며 일반 목적의 우수성을 입증했다.
• 알고리즘은 도메인 크기가 2^1000인 데이터셋까지 처리할 수 있었으며, 이는 이전 방법의 한계를 크게 초월한 것이다.
• Adult 데이터셋 실험에서, 인자 분해 구현은 불필요한 속성(확률 p=0.1로 추가)을 간과하면서도 낮은 실행 시간과 최대 오차를 유지했다.
• 총 실행 시간은 비밀성 보장 데이터셋에서의 질의 평가에 의해 주로 차지했으며, 인자 분해된 MWEM 구성 요소는 실행 시간에 거의 기여하지 않았다.