[논문 리뷰] Distributed Differentially Private Computation of Functions with Correlated Noise

Hafiz Imtiaz, Jafar Mohammadi외 1명|arXiv (Cornell University)|2019. 04. 22.

Privacy-Preserving Technologies in Data참고 문헌 58인용 수 7

한 줄 요약

이 논문은 분산 학습에서 국소 데이터셋이 작을 경우 기존 분산 미분적 비밀보장 알고리즘의 낮은 유틸리티 문제를 해결하기 위해, 서로 다른 사이트 간에 상관된 노이즈를 유도함으로써 유틸리티를 향상시키는 새로운 분산 미분적 비밀보장 프레임워크인 CAPE(Correlation Assisted Private Estimation)를 제안한다. 추정 이론적 노이즈 상관관계를 활용함으로써 CAPE는 중심 집중식 비비밀 보장 학습에 가까운 성능을 달성하며, 엄격한 비밀 보장 조건 하에서 합성 및 실세계 회귀 및 신경망 작업에서 기존 방법들을 능가한다.

ABSTRACT

Many applications of machine learning, such as human health research, involve processing private or sensitive information. Privacy concerns may impose significant hurdles to collaboration in scenarios where there are multiple sites holding data and the goal is to estimate properties jointly across all datasets. Differentially private decentralized algorithms can provide strong privacy guarantees. However, the accuracy of the joint estimates may be poor when the datasets at each site are small. This paper proposes a new framework, Correlation Assisted Private Estimation (CAPE), for designing privacy-preserving decentralized algorithms with better accuracy guarantees in an honest-but-curious model. CAPE can be used in conjunction with the functional mechanism for statistical and machine learning optimization problems. A tighter characterization of the functional mechanism is provided that allows CAPE to achieve the same performance as a centralized algorithm in the decentralized setting using all datasets. Empirical results on regression and neural network problems for both synthetic and real datasets show that differentially private methods can be competitive with non-private algorithms in many scenarios of interest.

연구 동기 및 목표

• 국소 데이터셋이 작을 경우 기존 분산 미분적 비밀보장 알고리즘의 낮은 유틸리티 문제를 해결하기 위해.
• 진실하지만 호기심이 많은 위협 모델 하에서 분산 기계학습의 프라이버시-유틸리티 트레이드오프를 향상시키기 위해.
• 특히 의료와 같은 프라이버시 민감한 분야에서 원시 데이터를 공유하지 않고도 여러 데이터 사이트 간에 정확한 공동 추정을 가능하게 하기 위해.
• 중앙 집중식 비비밀 보장 학습의 성능에 도달하는 방법을 개발하기 위해.
• 분산 시스템에서 분리 가능한 함수에 대한 미분적 비밀보장 계산을 위한 실용적이고 분석적으로 탄탄한 프레임워크를 제공하기 위해.

제안 방법

• 다양한 분산 사이트 간에 (반)상관된 노이즈를 유도함으로써 전체 노이즈 분산을 감소시키는 CAPE 프레임워크를 제안한다.
• 연속적이고 미분 가능한 함수에 대해 민감도를 더 효율적으로 계산하는 CAPEFM 알고리즘을 도입한다.
• 미분적 비밀보장을 유지하면서도 편향된 출력의 분산을 최소화하기 위해 추정 이론적 분석을 통해 노이즈 추가 과정을 분석한다.
• 특히 선형 및 로지스틱 회귀 문제에서 추가 노이즈를 줄이기 위해 기능 메커니즘의 더 엄밀한 특성화를 사용한다.
• 예측 오차 최소화 최적화와 같은 분산 최적화에서 분리 가능한 손실 함수에 프로토콜를 적용한다.
• 공모하는 사이트 수가 ⌈S/3⌉−1을 초과하지 않는 조건 하에 (ε,δ)-미분적 비밀보장을 보장한다.

실험 결과

연구 질문

• RQ1 분산 사이트 간에 상관된 노이즈가 프라이버시를 해치지 않으면서도, 분산 기반 미분적 비밀보장 계산의 유틸리티를 향상시킬 수 있는가?
• RQ2 작은 국소 데이터셋이 있는 분산 기계학습에서 프라이버시-유틸리티 트레이드오프를 어떻게 크게 향상시킬 수 있는가?
• RQ3 분산 기반의 미분적 비밀보장 알고리즘이 중심 집중식 비비밀 보장 학습의 성능에 얼마나 가까이 도달할 수 있는가?
• RQ4 노이즈 상관관계가 분산 기반 기능 추정에서 민감도 계산과 분산에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 ERM 및 신경망 학습과 같은 일반적인 기계학습 최적화 문제로 일반화될 수 있는가?

주요 결과

• 적절한 조건 하에서 ε, δ 및 데이터셋 크기 N에 대해 CAPEFM 알고리즘이 비비밀 보장 풀 데이터 시나리오의 유틸리티 수준을 달성한다.
• 합성 및 실세계 데이터셋(Crime, Twitter)에서 CAPEFM은 dp-fm 및 objPert와 같은 전통적 DP 알고리즘을 뛰어넘으며, 특히 중간 크기의 N과 δ에서 두드러진 성능을 보인다.
• 사이트 수 N이 증가할수록 성능이 향상되며, 충분히 큰 N과 ε일 경우 CAPEFM의 유틸리티는 비비밀 보장 기준선에 수렴한다.
• 특히 δ가 중간 정도로 작고 N이 너무 작지 않을 경우, 로컬 및 볼록 조합 방법보다 더 뛰어난 유틸리티를 달성한다.
• 선형 회귀 및 딥 신경망 분류 작업 모두에서 강력한 경험적 성능을 보이며, 비비밀 보장 기준선과의 경쟁력을 입증한다.
• CAPEFM의 분석 기반 민감도 계산은 특히 저차원 설정에서 기존 표준 방법에 비해 추가 노이즈를 크게 감소시킨다.