[논문 리뷰] MVG Mechanism: Differential Privacy under Matrix-Valued Query

Thee Chanyaswad, Alex Dytso외 2명|arXiv (Cornell University)|2018. 01. 02.

Privacy-Preserving Technologies in Data참고 문헌 83인용 수 12

한 줄 요약

이 논문은 행렬형 질의를 위한 새로운 차별적 비밀유지 방법인 행렬변량 정규분포(MVG) 기반 기계를 제안한다. 이 기계는 $(\epsilon,\delta)$-차별적 비밀유지 보장을 유지하면서도, 행렬의 요소 간의 구조적 관계를 고려하여 방향성 노이즈를 추가함으로써 유용성 손실를 줄인다. 실세계 데이터셋에서 최신 기법들보다 뛰어난 유용성 성능과 강력한 비밀유지 보장을 동시에 확보한다.

ABSTRACT

Differential privacy mechanism design has traditionally been tailored for a scalar-valued query function. Although many mechanisms such as the Laplace and Gaussian mechanisms can be extended to a matrix-valued query function by adding i.i.d. noise to each element of the matrix, this method is often suboptimal as it forfeits an opportunity to exploit the structural characteristics typically associated with matrix analysis. To address this challenge, we propose a novel differential privacy mechanism called the Matrix-Variate Gaussian (MVG) mechanism, which adds a matrix-valued noise drawn from a matrix-variate Gaussian distribution, and we rigorously prove that the MVG mechanism preserves $(ε,δ)$-differential privacy. Furthermore, we introduce the concept of directional noise made possible by the design of the MVG mechanism. Directional noise allows the impact of the noise on the utility of the matrix-valued query function to be moderated. Finally, we experimentally demonstrate the performance of our mechanism using three matrix-valued queries on three privacy-sensitive datasets. We find that the MVG mechanism notably outperforms four previous state-of-the-art approaches, and provides comparable utility to the non-private baseline.

연구 동기 및 목표

• 행렬형 질의에 대해 독립적 동일분포(i.i.d.) 노이즈를 적용할 경우, 행렬 요소 간의 구조적 관계를 忽略하는 데 기인한 최적화 문제를 해결하기 위해.
• 행렬형 질의 함수에 특화된 새로운 기본 차별적 비밀유지 기계를 개발하기 위해, 행렬 분석 기법을 활용한다.
• 방향성 노이즈 개념을 도입하여, 노이즈를 유용성 고려에 따라 행렬의 특정 방향에 더 집중적으로 분포시킴으로써 유용성에 미치는 영향을 최소화한다.
• 실제 비밀유지 민감도가 높은 데이터셋에서 기존 기법들과 비교하여 MVG 기계의 유용성과 효율성에 대한 실험적 검증을 수행한다.

제안 방법

• MVG 기계는 행렬형 질의 함수의 $L_2$-감도에 따라 스케일링된 행렬변량 정규분포 노이즈를 추가한다.
• 엄밀한 이론적 분석을 통해 이 기계가 $(\epsilon,\delta)$-차별적 비밀유지를 보장한다는 것이 입증된다.
• 노이즈 공분산을 설계하여 특정 행렬 방향에 대한 강조 또는 경감을 통해 방향성 노이즈를 도입한다.
• 노이즈 감도를 방향에 따라 분배하기 위해 정밀도 할당 전략 $\boldsymbol{\theta}$ 를 사용하며, 실험에서는 이분할 할당을 적용한다.
• Johnson-Lindenstrauss 변환 또는 지수 기반 기계와 같은 반복적 또는 투영 기반 방법의 계산 오버헤드를 피한다.
• 행렬변량 정규분포를 활용하여 행렬 요소 간의 종속성을 모델링함으로써, 행렬의 구조를 존중하는 구조화된 노이즈를 가능하게 한다.

실험 결과

연구 질문

• RQ1 행렬의 구조를 고려하여 독립적으로 요소를 처리하지 않는, 행렬형 질의에 특화된 차별적 비밀유지 기계를 설계할 수 있는가?
• RQ2 유용성 손실를 최소화하면서도 비밀유지를 유지하기 위해 노이즈를 어떻게 행렬의 방향에 전략적으로 할당할 수 있는가?
• RQ3 동일한 비밀유지 예산($\epsilon=1$, $\delta=1/N$) 하에서 MVG 기계는 기존 최신 기법들보다 더 높은 유용성을 달성하는가?
• RQ4 Johnson-Lindenstrauss 변환 또는 지수 기반 기법과 비교해 MVG 기계의 계산 효율성은 어떠한가?
• RQ5 방향성 노이즈는 비정보성 방향을 기각하는 차원 축소 기법보다 우월한 성능을 보일 수 있는가?

주요 결과

• 동일한 비밀유지 예산($\epsilon=1$, $\delta=1/N$) 하에서 MVG 기계는 차원 축소 기법인 가우시안 기계 및 Johnson-Lindenstrauss 변환 대비 150% 이상 높은 유용성 향상을 달성한다.
• MVG 기계는 비밀유지 민감도가 높은 데이터셋에서 평가된 세 가지 행렬형 질의 전반에 걸쳐 비공개 기준 성능과 유사한 유용성을 제공한다.
• 반복적 샘플링 및 투영 행렬 구축을 피함으로써 계산 오버헤드를 줄였기 때문에, MVG 기계는 지수 기반 기계 및 Johnson-Lindenstrauss 변환보다 훨씬 빠르게 실행된다.
• MVG 기계는 모든 실험 평가에서 네 가지 최신 기법들을 능가하여 일관된 유용성 향상을 입증한다.
• 방향성 노이즈의 사용은 정보성 높은 행렬 방향에 대한 노이즈 영향을 줄이면서도, 유용성이 낮은 방향에는 여전히 노이즈를 추가함으로써 비밀유지 손실 없이 유용성을 향상시킨다.
• 이론적 분석을 통해 MVG 기계가 질의 구조에 대한 가정 없이도 어떤 행렬형 질의 함수에 대해서든 $(\epsilon,\delta)$-차별적 비밀유지를 만족한다는 것이 확인되었다.