[논문 리뷰] On the 1-Wasserstein Distance between Location-Scale Distributions and the Effect of Differential Privacy

Saurab Chhachhi, Fei Teng|arXiv (Cornell University)|2023. 04. 28.

Income, Poverty, and Inequality인용 수 4

한 줄 요약

이 논문은 표준 정규 CDF와 감마 함수와 같은 특수 함수를 사용하여 위치-척도 분포의 1-워샤프스키 거리에 대한 정확한 폐형 표현식을 유도한다. 위치 및 척도 매개수를 기반으로 하며, 차별적 프라이버시를 위한 라플라스 및 가우시안 메커니즘을 고려하여 새로운 선형 상한을 수립하고, 노이즈가 첨가된 분포의 워샤프스키 거리에 대한 정확한 가우시안 근사가 가능함을 보여준다.

ABSTRACT

We provide an exact expressions for the 1-Wasserstein distance between independent location-scale distributions. The expressions are represented using location and scale parameters and special functions such as the standard Gaussian CDF or the Gamma function. Specifically, we find that the 1-Wasserstein distance between independent univariate location-scale distributions is equivalent to the mean of a folded distribution within the same family whose underlying location and scale are equal to the difference of the locations and scales of the original distributions. A new linear upper bound on the 1-Wasserstein distance is presented and the asymptotic bounds of the 1-Wasserstein distance are detailed in the Gaussian case. The effect of differential privacy using the Laplace and Gaussian mechanisms on the 1-Wasserstein distance is studied using the closed-form expressions and bounds.

연구 동기 및 목표

• 위치 및 척도 매개수와 특수 함수를 사용하여 독립적인 단변량 위치-척도 분포 간의 1-워샤프스키 거리에 대한 정확한 해석적 표현식을 유도하는 것.
• 이전의 상한보다 더 낫고, 특히 두 분포의 평균이 동일할 경우에 더 낫도록, 1-워샤프스키 거리에 대한 새로운 선형 상한을 개발하는 것.
• 라플라스 및 가우시안 메커니즘을 사용하여 차별적 프라이버시가 1-워샤프스키 거리에 미치는 영향을 분석하고, 더 나은 상한과 노이즈가 첨가된 분포에 대한 근사를 제공하는 것.
• 프라이버시 보장 기계 학습 및 분포적 강건성 문제에서 워샤프스키 거리의 더 효율적이고 정확한 계산을 가능하게 하는 것.

제안 방법

• 저자는 두 개의 독립적인 단변량 위치-척도 분포 간의 1-워샤프스키 거리를, 원래 분포의 매개수 차이에 해당하는 위치 및 척도 매개수를 가진 동일한 가족에서 유도된 접힘 분포의 평균으로 정확한 표현식을 유도한다.
• 표준 정규 누적분포함수(CDF) 및 감마 함수와 같은 특수 함수를 사용하여 1-워샤프스키 거리를 표현함으로써, 수치적 적분 없이도 해석적으로 평가할 수 있도록 한다.
• 기존의 상한보다 더 낫고, 특히 두 분포의 평균이 동일할 경우에 더 낫도록, 1-워샤프스키 거리에 대한 새로운 선형 상한을 제안한다.
• 가우시안 케이스의 경우, 극단적인 매개수 값에서의 거리 행동을 분석하기 위해 渐近 상한을 도출한다.
• 차별적 프라이버시의 영향을 분석하기 위해, 차별적 프라이버시 출력을 위치-척도 분포(예: 가우시안-라플라스 혼합)로 모델링하고, 유도된 해석적 표현식을 사용하여 1-워샤프스키 거리를 상한한다.
• 가우시안-라플라스 분포를 동일한 평균과 분산을 가진 가우시안 분포로 대체하는 근사를 제안함으로써, 라플라스 메커니즘 하에서 워샤프스키 거리의 폐형 평가가 가능해진다.

실험 결과

연구 질문

• RQ1 위치 및 척도 매개수와 특수 함수를 사용하여 두 독립적인 단변량 위치-척도 분포 간의 1-워샤프스키 거리에 대한 정확한 해석적 표현식은 무엇인가요?
• RQ2 특히 두 분포의 평균이 동일할 경우에, 위치-척도 분포 간의 1-워샤프스키 거리에 대해 더 낫게 하는 선형 상한을 도출할 수 있을까요?
• RQ3 라플라스 또는 가우시안 노이즈를 추가함으로써 차별적 프라이버시가 기준 분포로의 1-워샤프스키 거리에 어떤 영향을 미치며, 이는 해석적으로 상한 또는 근사로 표현될 수 있을까요?
• RQ4 라플라스 메커니즘에서 유도된 가우시안-라플라스 분포는 1-워샤프스키 거리 측면에서 가우시안 분포로 잘 근사될 수 있으며, 이러한 근사가 성립하는 조건은 무엇인가요?

주요 결과

• 두 독립적인 단변량 위치-척도 분포 간의 1-워샤프스키 거리는 원래 분포의 위치 및 척도 매개수의 차이를 가진 동일한 가족에서 유도된 접힘 분포의 평균과 정확히 일치한다.
• 기존 상한보다 더 낫고, 특히 두 분포의 평균이 동일할 경우에 더 낫도록, 1-워샤프스키 거리에 대한 새로운 선형 상한이 도출되었다.
• 가우시안 케이스의 경우, 평균 또는 분산의 차이가 클 경우에 수렴하는 특정 해석적 형태로 거리의 渐近 행동이 특징지어진다.
• 유도된 표현식을 사용하여 라플라스 메커니즘이 1-워샤프스키 거리에 미치는 영향을 상한하였고, 이전 결과보다 더 낫게 개선된 상한을 제공하였다.
• 라플라스 메커니즘에서 유도된 가우시안-라플라스 분포는 동일한 평균과 분산을 가진 가우시안 분포로 잘 근사되며, 이는 노이즈 척도가 원래 표준편차에 비해 작을 경우에 폐형 근사를 가능하게 한다.
• 라플라스 메커니즘 하에서 1-워샤프스키 거리에 대한 제안된 근사식 (60)은 노이즈 척도가 원래 표준편차와 유사하거나 더 작을 때, 즉 더 큰 프라이버시 예산(예: ε = 1)에서 잘 작동한다.