[論文レビュー] On the 1-Wasserstein Distance between Location-Scale Distributions and the Effect of Differential Privacy

Saurab Chhachhi, Fei Teng|arXiv (Cornell University)|Apr 28, 2023

Income, Poverty, and Inequality被引用数 4

ひとこと要約

本稿では、標準正規分布の累積分布関数（CDF）やガンマ関数などの特殊関数を用いて、1-Wasserstein距離の正確な閉形式式を、位置母数とスケール母数を用いて一変量の位置スケール分布族に対して導出する。また、新たな線形上界を確立し、ラプラスおよびガウスメカニズムによる微分プライバシーの影響を分析し、よりタイトな上界を提示するとともに、ノイズを加えた分布のガウス近似が、参照となるガウス分布からのWasserstein距離に対して正確であることを示す。

ABSTRACT

We provide an exact expressions for the 1-Wasserstein distance between independent location-scale distributions. The expressions are represented using location and scale parameters and special functions such as the standard Gaussian CDF or the Gamma function. Specifically, we find that the 1-Wasserstein distance between independent univariate location-scale distributions is equivalent to the mean of a folded distribution within the same family whose underlying location and scale are equal to the difference of the locations and scales of the original distributions. A new linear upper bound on the 1-Wasserstein distance is presented and the asymptotic bounds of the 1-Wasserstein distance are detailed in the Gaussian case. The effect of differential privacy using the Laplace and Gaussian mechanisms on the 1-Wasserstein distance is studied using the closed-form expressions and bounds.

研究の動機と目的

• 2つの独立した一変量の位置スケール分布間の1-Wasserstein距離の正確な解析的表現を、分布の母数と特殊関数のみを用いて導出すること。
• 既存の上界よりもタイトな、1-Wasserstein距離の新たな線形上界を構築し、特に両分布の平均が等しい場合に有効であるようにすること。
• ラプラスおよびガウスメカニズムを用いた微分プライバシーが1-Wasserstein距離に与える影響を分析し、よりタイトな上界を提示するとともに、ノイズを加えた分布の近似を提供すること。
• プライバシー保護型機械学習および分布的ロバストネス問題におけるWasserstein距離のより効率的かつ正確な計算を可能にすること。

提案手法

• 著者らは、2つの独立した一変量の位置スケール分布間の1-Wasserstein距離を、元の分布の母数の差に等しい位置およびスケール母数を持つ同じ族に属する折りたたみ分布の平均として正確に表現する。
• 標準正規分布の累積分布関数（CDF）やガンマ関数などの特殊関数を用いて1-Wasserstein距離を表現することで、数値積分を用いずに解析的に評価可能となる。
• 1-Wasserstein距離の新たな線形上界を提案し、特に両分布の平均が等しい場合に、既存の上界よりもタイトであることを示す。
• ガウス分布の場合には、極端な母数値における距離の振る舞いを分析するための漸近的上界を導出する。
• 微分プライバシーの影響を検討する際、微分プライバシー出力を位置スケール分布（例：ガウス-ラプラス混合）としてモデル化し、導出した解析的表現を用いて1-Wasserstein距離を上界で制約する。
• ガウス-ラプラス分布を同じ平均と分散を持つガウス分布に置き換える近似を提案し、これによりラプラスメカニズム下でのWasserstein距離を閉形式で評価可能となる。

実験結果

リサーチクエスチョン

• RQ1 2つの独立した一変量の位置スケール分布間の1-Wasserstein距離の正確な解析的表現は、その位置母数とスケール母数、および特殊関数を用いてどのように表されるか？
• RQ2 位置スケール分布間の1-Wasserstein距離に対して、平均が等しい場合に特にタイトな新たな線形上界を導出可能か？
• RQ3 微分プライバシーの下でラプラスまたはガウスノイズを追加した場合、参照分布からの1-Wasserstein距離にどのような影響が生じるか？ また、この影響を解析的に上界で制約したり、近似したりできるか？
• RQ4 ラプラスメカニズムから生じるガウス-ラプラス分布は、1-Wasserstein距離の観点で、同じ平均と分散を持つガウス分布でよく近似できるか？ その近似が成り立つ条件は何か？

主な発見

• 2つの独立した一変量の位置スケール分布間の1-Wasserstein距離は、元の分布の位置とスケール母数の差をそれぞれ位置およびスケール母数とする同じ族に属する折りたたみ分布の平均に正確に等しい。
• 1-Wasserstein距離の新たな線形上界が導出され、特に両分布の平均が等しい場合に、既存の上界よりもタイトであることが示された。
• ガウス分布の場合、1-Wasserstein距離の漸近的挙動が特定され、平均の差や分散の差が大きくなるにつれて、特定の解析的形に収束することが示された。
• 導出した表現を用いて、ラプラスメカニズムが1-Wasserstein距離に与える影響が上界で制約され、従来の結果を改善するよりタイトな上界が提示された。
• ラプラスメカニズムから生じるガウス-ラプラス分布は、同じ平均と分散を持つガウス分布でよく近似できる。これは、ラプラスノイズのスケールが元の標準偏差に対して小さい場合に、1-Wasserstein距離の閉形式近似が高精度で成立することを意味する。
• ラプラスメカニズム下での1-Wasserstein距離の近似式（60）は、プライバシー予算が大きい場合（例：ε = 1）に良好に機能し、ノイズのスケールが元の標準偏差と同等またはそれ未満である場合に有効である。