[논문 리뷰] Exact Inference with Approximate Computation for Differentially Private Data via Perturbations

Ruobin Gong|arXiv (Cornell University)|2019. 09. 26.

Statistical Methods and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 약간의 계산 방법을 사용하여, 기밀 보장된 데이터에서 정확한 베이지안 및 최대우도 추론을 가능하게 하는 모odu lar 프레임워크를 제안한다. 이 방법은 약간의 계산 방법(예: 근사 베이지안 계산(ABC) 및 몬테카를로 EM)을 사용하여, 기밀 보장 메커니즘의 편향 구조와 조율된 튜닝 파라미터를 적용한다. 주요 기여는, 몬테카를로 오차를 제외하고, 분석가의 통계 모델과 관리자의 기밀 보장 메커니즘의 결합 모델에 대해 정확한 추론을 가능하게 한다는 것이다.

ABSTRACT

This paper discusses how two classes of approximate computation algorithms can be adapted, in a modular fashion, to achieve exact statistical inference from differentially private data products. Considered are approximate Bayesian computation for Bayesian inference, and Monte Carlo Expectation-Maximization for likelihood inference. Up to Monte Carlo error, inference from these algorithms is exact with respect to the joint specification of both the analyst's original data model, and the curator's differential privacy mechanism. Highlighted is a duality between approximate computation on exact data, and exact computation on approximate data, which can be leveraged by a well-designed computational procedure for statistical inference.

연구 동기 및 목표

• 정확한 기반 모델의 재도출 없이 기밀 보장된 데이터 제품에서 정확한 통계적 추론을 가능하게 하기 위해.
• 특히 기밀 보장 메커니즘이 복잡하거나 알려져 있지 않은 경우, 기밀 보장된 데이터에서 유효한 추론을 수행하는 데 도전하는 데에.
• 정확한 데이터에 대한 근사 계산과 약간의 데이터에 대한 정확한 계산 간의 이중성(duality)을 설정하여, 기밀 보장 메커니즘의 투명성을 활용하기 위해.
• 기밀 보장 하에서 통계적 타당성을 유지하면서도 계산적으로 실현 가능하고 이론적으로 타당한 접근법을 제공하기 위해.
• 기밀 보장 메커니즘이 클램핑 또는 후처리를 포함하더라도, 메커니즘이 투명하다면 추론이 유효하게 유지되도록 보장하기 위해.

제안 방법

• 기본 데이터 발행에 사용된 기밀 보장 편향 메커니즘과 정확히 일치하는 커널과 대역폭을 사용하여 근사 베이지안 계산(ABC)을 적응시킨다.
• ABC에서 재거 샘플링 알고리즘을 사용하며, 합성 데이터가 기밀 보장된 데이터에 가까운지에 따라 수용 여부를 결정한다. 이때 커널은 기밀 보장 메커니즘의 노이즈 분포와 연결된다.
• 기밀 보장된 데이터에서 최대우도 파라미터를 추정하기 위해 몬테카를로 EM(MCEM) 프레임워크 내에서 중요도 샘플링을 적용하며, 기밀 보장 메커니즘의 밀도를 제안 분포로 사용한다.
• 원래 데이터 모델과 기밀 보장 메커니즘의 결합 모델에 대해 후행 또는 우도 근사가 정확하게 유지되도록 보장한다.
• 기본 메커니즘의 조건부 밀도 $\eta_{\text{dp}}(\boldsymbol{s}_{\text{dp}} \mid \cdot)$ 의 투명성에 의존한다. 이 밀도가 분석적으로 다룰 수 있어야만 이 방법이 작동한다.
• 튜닝 파rameter(예: 커널 대역폭, 중요도 가중치)가 기밀 보장 메커니즘과 명시적으로 일치하도록 알고리즘을 설계하여, 데이터 편향에도 불구하고 정확한 추론이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 ABC 및 MCEM과 같은 근사 계산 방법을 기밀 보장된 데이터에서 정확한 통계적 추론을 가능하게 하도록 적응시킬 수 있는가?
• RQ2 기밀 보장 메커니즘의 편향 구조를 어떻게 활용하여, 데이터 모델과 기밀 보장 메커니즘의 결합 모델에 대해 정확한 추론을 유지할 수 있는가?
• RQ3 이러한 근사 계산 방법을 사용할 때 정확한 추론을 위해 필요한 기밀 보장 메커니즘의 조건(예: 투명성, 노이즈 형태)은 무엇인가?
• RQ4 정확한 데이터에 대한 근사 계산과 약간의 데이터에 대한 정확한 계산 간의 이중성은 기밀 보장 인프라를 고려한 추론 절차의 설계에 어떻게 기여하는가?
• RQ5 기밀 보장 메커니즘이 클램핑 또는 후처리를 포함할 경우, 이러한 방법의 계산적 및 통계적 한계는 무엇인가?

주요 결과

• 제안된 ABC 알고리즘은 커널과 대역폭가 기밀 보장 편향 메커니즘과 정확히 일치할 경우, 진정한 후행 분포에서 독립적이고 동일하게 분포된 샘플을 생성한다.
• 중요도 샘플링을 사용한 MCEM 기반 접근법은 기밀 보장 메커니즘의 밀도가 투명하고 분석적으로 이용 가능할 경우, 결합 모델에 대해 정확한 우도 추론을 제공한다.
• 이 방법은 몬테카를로 오차를 제외하고 정확한 추론을 달성하며, 이는 원래 데이터 모델과 관리자의 기밀 보장 메커니즘 양쪽에 대해 통계적으로 타당한 추론을 의미한다.
• 이 방법은 모듈러하며, 결합 모델을 분석적으로 재도출할 필요 없이, 다양한 기밀 보장된 데이터에 대해 기존의 ABC 및 MCEM 구현을 재사용할 수 있다.
• ABC의 성능은 사전-데이터 갈등에 민감하다. 사전 분포가 넓거나 관측된 데이터와 충돌할 경우 수용률이 낮아지며, 이는 고우도 밀도 영역에서 더 많은 샘플링 노력이 필요함을 의미한다.
• 이 방법의 실현 가능성은 기밀 보장 메커니즘의 투명성에 매우 의존한다. 메커니즘의 밀도를 가리키는 클램핑 또는 후처리가 메커니즘의 유효성을 해칠 수 있다.