[논문 리뷰] Graphical-model based estimation and inference for differential privacy

Ryan McKenna, Daniel Sheldon외 1명|arXiv (Cornell University)|2019. 01. 26.

Privacy-Preserving Technologies in Data인용 수 35

한 줄 요약

이 논문은 프라이버시 다이버런스에서 노이즈가 있는 주변 측정으로부터 데이터 분포를 추정하기 위해 그래프-모델 기반 접근법을 도입하여 프라이빗 쿼리 워크로드에 대해 확장 가능하고 정확한 추론을 가능하게 한다.

ABSTRACT

Many privacy mechanisms reveal high-level information about a data distribution through noisy measurements. It is common to use this information to estimate the answers to new queries. In this work, we provide an approach to solve this estimation problem efficiently using graphical models, which is particularly effective when the distribution is high-dimensional but the measurements are over low-dimensional marginals. We show that our approach is far more efficient than existing estimation techniques from the privacy literature and that it can improve the accuracy and scalability of many state-of-the-art mechanisms.

연구 동기 및 목표

• 저차원적으로 privately noisy marginal로부터 고차원 데이터 분포의 효율적 추정을 동기화한다.
• 관찰된 marginals와 일치하는 최대 엔트로피 분포를 산출하는 그래프-모델 프레임워크를 개발한다.
• 전체 컨틴전시 표를 물리적으로 구성하지 않고 marginal을 이용한 근접 추정 알고리즘을 제공한다.
• 학습된 그래프-모델에서 효율적인 marginal 추론을 통해 새로운 워크로드 쿼리에 대해 정확한 추론을 가능하게 한다.
• 상태-아의 DP 메커니즘에 이 접근법을 통합했을 때의 개선을 시연한다.

제안 방법

• 데이터 분포를 측정 집합에 해당하는 clique를 가지는 그래프-모델로 표현한다.
• 추정된 marginals를 이용해 단일 분포를 선택하는 최대 엔트로피 원리를 사용한다.
• 마진을 충분 통계량으로 삼아 marginal polytope 위에서 볼록 최적화로 추정 문제를 형식화한다.
• Clique marginal을 MARGINAL-ORACLE 서브루틴으로 반복적으로 업데이트하는 두 개의 근접 알고리즘(Algorithm 1 및 Algorithm 2)을 도입한다.
• 노드 간 트리에서의 belief propagation을 MARGINAL-ORACLE로 활용하여 tractable한 marginal 추론을 수행한다.
• 학습된 그래프-모델을 이용해 전체 컨틴전시 표를 구성하지 않고도 워크로드 쿼리에 응답한다.

실험 결과

연구 질문

• RQ1 그래프-모델이 프라이버시 노이즈 하에서도 고차원 데이터 분포를 компакт하게이면서도 정확하게 표현할 수 있는가?
• RQ2 개 privately noisy 측정으로부터 marginals를 어떻게 효율적으로 추정하고 최대 엔트로피 분포를 회복할 수 있는가?
• RQ3 그래프-모델 기반 추정의 통합이 기존 DP 메커니즘의 정확도와 확장성을 향상시키는가?
• RQ4 이 추정을 마진 데이터 위에서 수행하기 위한 수렴 보장을 갖춘 실용적 알고리즘은 무엇인가?

주요 결과

• 그래프-모델 추정을 도입하면 PrivBayes와 DualQuery의 정확도가 크게 향상되며 Loans와 Stroke 데이터셋에서 워크로드 오차가 각각 약 6배, 7배 감소하고 Adult에서 약 30% 감소한다.
• 그래프-모델 접근법을 사용하면 네 가지 데이터셋에서 DualQuery의 성능이 1.2배, 1.8배, 3.5배, 4.4배의 개선을 보인다.
• MWEM 및 HDMM은 이전에 제시된 대규모 워크로드/데이터세트에서 확장 가능하지 못했지만 PGM 기반 추정으로 실현 가능해진다.
• 제안된 근접 추정 알고리즘은 일반 볼록 손실에 대해 O(1/√t), Lipschitz-Gradient 손실에 대해 O(1/t^2)의 수렴 보장을 가지며, tractable marginal 추론을 위한 MARGINAL-ORACLE 오라클을 활용한다.
• 이 프레임워크는 기존 프라이빗-쿼리 메커니즘과 호환되며 추가 프라이버시 손실 없이 프라이버시-유틸리티 트레이드오프를 개선하는 빌딩 블록으로 사용할 수 있다.
• 실험은 Titanic, Adult, Loans, Stroke 데이터셋에서 ε=1.0( DualQuery의 경우 δ=0.001) 의 프라이버시 예산으로 수행되었다.