[논문 리뷰] KNG: The K-Norm Gradient Mechanism

Matthew Reimherr, Jordan Awan|arXiv (Cornell University)|2019. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 4

한 줄 요약

이 논문은 목적 함수의 기울기와 민감도에 맞게 조정할 수 있는 융통성 있는 K-노름을 사용하여 유용성을 향상시키는 새로운 비밀유지 알고리즘인 K-노름 기울기 기반 메커니즘(KNG)을 소개한다. 기하급수적 메커니즘과는 달리, KNG는 통계적 오차에 비해 渐진적으로 무시할 수 있는 소음 크기를 확보하며, 선형 회귀와 분위수 회귀에서 뛰어난 유용성을 보이며 강력한 비밀유지 보장을 유지한다.

ABSTRACT

This paper presents a new mechanism for producing sanitized statistical summaries that achieve \emph{differential privacy}, called the \emph{K-Norm Gradient} Mechanism, or KNG. This new approach maintains the strong flexibility of the exponential mechanism, while achieving the powerful utility performance of objective perturbation. KNG starts with an inherent objective function (often an empirical risk), and promotes summaries that are close to minimizing the objective by weighting according to how far the gradient of the objective function is from zero. Working with the gradient instead of the original objective function allows for additional flexibility as one can penalize using different norms. We show that, unlike the exponential mechanism, the noise added by KNG is asymptotically negligible compared to the statistical error for many problems. In addition to theoretical guarantees on privacy and utility, we confirm the utility of KNG empirically in the settings of linear and quantile regression through simulations.

연구 동기 및 목표

• 비밀유지 통계 추정에서 기하급수적 메커니즘이 통상적으로 추정 오차 수준과 동일한 크기의 높은 소음 크기를 갖는 문제를 해결하기 위해.
• 기하급수적 메커니즘의 유연성을 유지하면서 목표 함수 편향과 유사한 유용성을 달성하는 메커니즘을 개발하기 위해.
• 기울기 기반 가중치를 사용하는 융통성 있는 노름 기반 프레임워크를 통해 기존 메커니즘인 라플라스, K-노름, PrivateQuantile를 통합적으로 일반화하기 위해.
• 선형 회귀 및 분위수 회귀에서 KNG의 성능을 실증적으로 검증하여 점차적으로 비민감 추정기의 오차율에 가까워지는지를 보여주기 위해.
• 기울기가 잘 정의되는 무한차원 매니폴드인 힐버트 공간이나 리만 기하학적 매니폴드와 같은 복잡한 매개변수 공간에서 KNG의 잠재적 응용을 탐색하기 위해.

제안 방법

• KNG는 경험적 목표 함수의 기울기 ∇ℓₙ(θ;D)의 K-노름 ‖·‖_K에 비례하여 exp(−c₀‖∇ℓₙ(θ;D)‖_K)에 비례하는 확률 밀도를 구성한다.
• K-노름은 사용자가 문제의 민감도 구조에 맞게 조정할 수 있는 볼록 집합 K를 통해 정의되며, 이는 노름 기반의 유용성 최적화를 가능하게 한다.
• 이 메커니즘은 목표 함수의 기울기가 0에 가까운 해 θ를 선호함으로써, 목표 함수의 최소화점을 효과적으로 타겟으로 삼는다.
• KNG는 기하급수적 메커니즘의 한 예로 나타나지만, 기울기 기반 가중치 덕분에 통계적 효율성이 향상된 것으로 입증되었다.
• 샘플링을 위해 KNG는 고차원 설정에서 효과적인 한 번에 한 개씩의 기댓값 샘플링(Gibbs sampling)을 포함하는 마르코프 체인 몬테카를로(MCMC) 방법을 사용한다.
• 이 방법은 평균 추정, 분위수 추정, 선형 회귀, 분위수 회귀에 적용되었으며, ε=1에서 실증적으로 검증되었다.

실험 결과

연구 질문

• RQ1 기하급수적 메커니즘의 유연성을 유지하면서 목표 함수 편향과 유사한 유용성을 달성할 수 있는 비밀유지 메커니즘을 설계할 수 있는가?
• RQ2 목표 함수의 기울기를 노름 기반 가중치와 함께 사용하면 통계적 오차에 비해 소음 크기가 감소하는가?
• RQ3 KNG는 효율적으로 샘플링되고, 분위수 회귀와 같이 이전에 비밀유지 메커니즘이 존재하지 않는 회귀 문제에 적용될 수 있는가?
• RQ4 비강한 볼록 설정에서 KNG는 oₚ(n⁻¹/²) 오차를 달성하는가? 이는 이론적 가정이 제시하는 것보다 더 넓은 적용 가능성을 시사한다.
• RQ5 KNG는 힐버트 공간이나 리만 기하학적 매니폴드와 같은 무한차원 매개변수 공간으로 확장될 수 있는가?

주요 결과

• 기하급수적 메커니즘과 달리, KNG는 많은 문제에서 통계적 오차에 비해 渐진적으로 무시할 수 있는 소음 크기를 확보한다.
• 선형 회귀 및 분위수 회귀 시뮬레이션에서 KNG의 추정 오차는 비민감 추정기의 오차율(Oₚ(n⁻¹/²))에 점차 수렴함을 보여, 효율적인 비민감 추정이 가능함을 시사한다.
• 기하급수적 메커니즘의 오차는 기울기가 −1/2인 직선에 수렴하지만, 더 높은 절편을 가지며, 이는 더 높은 渐진적 분산을 의미한다. 반면 KNG의 오차는 비민감 직선과 매우 밀접하게 일치한다.
• KNG는 비밀유지 분위수 회귀를 위한 첫 번째 메커니즘으로, MCMC 샘플링을 통해 효율적이고 실용적인 성능을 보였다.
• 비강한 볼록 회귀 설정에서 정리 3.2의 이론적 가정이 충족되지 않음에도 불구하고 KNG는 여전히 oₚ(n⁻¹/²) 오차를 달성하여 더 넓은 적용 가능성을 시사한다.
• KNG는 기존 메커니즘을 일반화한다: 라플라스, K-노름, PrivateQuantile 메커니즘은 모두 특정한 노름 선택에 따라 KNG의 특수한 경우이다.