[논문 리뷰] Differentially Private Distributed Data Summarization under Covariate Shift

Kanthi Sarpatwar, Karthikeyan Shanmugam외 3명|arXiv (Cornell University)|2019. 10. 28.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 공변량 이동 조건 하에서 분산 데이터 요약을 위한 차별적 비밀 보장 프로토콜을 제안한다. 이는 신뢰할 수 있는 캘리브레이터가 비밀 유지가 필요한 데이터 접근을 최소화하면서도 목표 검증 세트에 가까운 요약 데이터셋을 구성할 수 있도록 한다. 이 방법은 라히미-레히트 랜덤 특징과 고도의 발전된 DP 메커니즘을 사용하여 $(\epsilon,\delta)$-차별적 비밀 보장 성능을 달성하며, 총 데이터 접근 횟수는 $O(K^{1/3}|D_s| + |D_v|)$로, MNIST에서 균일 샘플링 대비 MMD와 정확도 측면에서 10–15% 향상된다.

ABSTRACT

We envision AI marketplaces to be platforms where consumers, with very less data for a target task, can obtain a relevant model by accessing many private data sources with vast number of data samples. One of the key challenges is to construct a training dataset that matches a target task without compromising on privacy of the data sources. To this end, we consider the following distributed data summarizataion problem. Given K private source datasets denoted by $[D_i]_{i\in [K]}$ and a small target validation set $D_v$, which may involve a considerable covariate shift with respect to the sources, compute a summary dataset $D_s\subseteq \bigcup_{i\in [K]} D_i$ such that its statistical distance from the validation dataset $D_v$ is minimized. We use the popular Maximum Mean Discrepancy as the measure of statistical distance. The non-private problem has received considerable attention in prior art, for example in prototype selection (Kim et al., NIPS 2016). Our work is the first to obtain strong differential privacy guarantees while ensuring the quality guarantees of the non-private version. We study this problem in a Parsimonious Curator Privacy Model, where a trusted curator coordinates the summarization process while minimizing the amount of private information accessed. Our central result is a novel protocol that (a) ensures the curator accesses at most $O(K^{\frac{1}{3}}|D_s| + |D_v|)$ points (b) has formal privacy guarantees on the leakage of information between the data owners and (c) closely matches the best known non-private greedy algorithm. Our protocol uses two hash functions, one inspired by the Rahimi-Recht random features method and the second leverages state of the art differential privacy mechanisms. We introduce a novel "noiseless" differentially private auctioning protocol for winner notification and demonstrate the efficacy of our protocol using real-world datasets.

연구 동기 및 목표

• 공변량 이동이 존재하는 목표 검증 세트와 일치하는 고품질의 개인 정보 보장형 학습 데이터셋을 다수의 분산된 개인 정보 보장 데이터 소스에서 구성하는 데 도전하는 것.
• 데이터 소유자 간 강력한 차별적 비밀 보장 보장을 확보하면서도 캘리브레이터의 데이터 접근 횟수를 최소한도로 줄이는 것.
• 요약 데이터셋과 검증 데이터셋 간 최대 평균 이격도(MMD)를 최소화하는 데 있어 비민감 알고리즘의 성능을 재현하는 프로토콜을 개발하는 것.
• 최종 선택 결과에 노이즈를 추가하지 않고도 승자 통보를 비밀리로 수행할 수 있는 '노이즈 없는' 차별적 비밀 보장 경매 메커니즘을 도입하는 것 — 이는 별도의 관심 분야일 수 있음.

제안 방법

• 프로토콜은 두 단계 해시 메커니즘을 사용한다: 첫 번째는 데이터를 낮은 차원 공간으로 매핑하여 효율적인 비교를 가능하게 하는 라히미-레히트 랜덤 특징 기반 해시.
• 두 번째 해시 함수는 최신 기술의 차별적 비밀 보장 메커니즘을 활용하여 캘리브레이터 상호작용 중 데이터의 비밀 유지 보장을 확보한다.
• 캘리브레이터는 데이터 소유자와 반복적인 해시 교환을 수행하여 검증 세트와의 MMD를 최소화하는 대표성 있는 데이터 포인트를 식별하고 선택한다.
• 비밀 유지가 보장되면서도 노이즈를 추가하지 않는 새로운 '노이즈 없는' 차별적 비밀 보장 경매 프로토콜을 도입하여 승자 데이터 포인트를 비밀리에 통보한다.
• 알고리즘은 해시 공간에서 MMD 최소화를 지침으로 삼는 그리디 선택 전략을 사용하여 요약 데이터셋 $D_s$를 구축한다.
• 이론적 분석을 통해 캘리브레이터가 접근하는 데이터 포인트 수가 $O(K^{1/3}|D_s| + |D_v|)$임을 입증하였으며, 이는 노출 범위를 크게 줄이는 데 기여한다.

실험 결과

연구 질문

• RQ1 공변량 이동 조건 하에서 분산된 데이터를 요약하는 데 있어 강력한 데이터 소유자 간 비밀 보장 보장을 확보하면서도, 차별적 비밀 보장 프로토콜을 설계할 수 있는가?
• RQ2 요약 데이터셋의 품질을 훼손하지 않으면서도 신뢰할 수 있는 캘리브레이터가 접근하는 데이터 포인트 수를 최소화할 수 있는가?
• RQ3 차별적 비밀 보장 프로토콜이 목표 검증 세트와의 MMD를 최소화하는 데 있어 비민감 그리디 알고리즘의 성능을 어느 정도 재현할 수 있는가?
• RQ4 선택 품질을 떨어뜨리지 않으면서도 비밀 보장을 보장하는 '노이즈 없는' 차별적 비밀 보장 경매 메커니즘을 구축할 수 있는가?

주요 결과

• 제안된 프로토콜은 MNIST 데이터셋에서 균일 샘플링 대비 MMD 성능을 10–15% 향상시켜 강력한 경험적 효과를 입증한다.
• 모든 데이터 소유자 간 상호작용에 대해 $(\epsilon,\delta)$-차별적 비밀 보장이 보장되어 있으며, 개인 정보 泄露 위험을 방지한다.
• 캘리브레이터가 접근하는 데이터 포인트 수가 $O(K^{1/3}|D_s| + |D_v|)$로 제한되어 있으며, 전체 데이터 접근 대비 공격 표면을 크게 줄였다.
• 비민감 알고리즘이 균일 샘플링보다 분류 정확도에서 일관되게 뛰어나며, 32개의 뉴런을 가진 신경망을 사용한 MNIST에서 상대적 성능 향상이 10–13%에 이른다.
• 노이즈 없는 차별적 비밀 보장 경매 메커니즘은 노이즈를 추가하지 않고도 비밀리에 승자 통보를 가능하게 하여 선택의 정밀도를 유지한다.
• 이론적 분석을 통해 프로토콜이 비민감 그리디 알고리즘과 유사한 MMD 최소화 성능을 달성함을 확인하였다.