[論文レビュー] Locally private non-asymptotic testing of discrete distributions is faster using interactive mechanisms

Thomas B. Berrett, Cristina Butucea|arXiv (Cornell University)|May 26, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用数 13

ひとこと要約

本稿は、$α$-ローカル微分プライバシー下での離散分布の非漸近的適合度検定における最適分離レートを確立し、インタラクティブなプライバシー機構が非インタラクティブなものよりも著しく速いレートを達成できることを示している。2段階のインタラクティブ機構を導入し、ラプラスノイズを適用した後、その推定値をプライベートに符号化することで、一様分布、多項式的減衰分布、指数的減衰分布においてミニマックス最適な性能を達成している。

ABSTRACT

We find separation rates for testing multinomial or more general discrete distributions under the constraint of local differential privacy. We construct efficient randomized algorithms and test procedures, in both the case where only non-interactive privacy mechanisms are allowed and also in the case where all sequentially interactive privacy mechanisms are allowed. The separation rates are faster in the latter case. We prove general information theoretical bounds that allow us to establish the optimality of our algorithms among all pairs of privacy mechanisms and test procedures, in most usual cases. Considered examples include testing uniform, polynomially and exponentially decreasing distributions.

研究の動機と目的

• ローカル微分プライバシー下での離散分布の適合度検定における最適分離レートを特定し、帰無仮説から十分に離れた分布に対して低誤差確率を保証すること。
• 非漸近的仮説検定の文脈において、非インタラクティブとインタラクティブなプライバシー機構の統計的性能を比較すること。
• ローカルプライバシー制約下で、最も速い分離レートを達成する効率的で統計的に最適なプライバシー機構と検定手順のペアを構築すること。
• 提案手法の最適性を確立する情報理論的下界を証明し、一様分布、多項式的減衰分布、指数的減衰分布を含む大多数の標準的ケースにおいて有効であること。

提案手法

• 2段階のインタラクティブプライバシー機構を提案：まず、標本の半分にラプラス機構を適用して分布確率を推定し、次に残りの半分を用いてその推定値をプライベートに符号化する。
• プライベートに符号化された推定値に基づき、$χ^{2}$-型の検定統計量を構築し、ローカル微分プライバシー下での適合度検定を実行する。
• 相互情報量とファノ型不等式を用いた一般化された情報理論的下界を導出し、分離レートのミニマックス最適性を確立する。
• 特定の分布にこのフレームワークを適用：ほぼ一様分布、多項式的減衰分布（$p_0(j) \propto j^{-1-\beta}L(j)$）、指数的減衰分布（$p_0(j) \propto \exp(-j^\beta)$）。
• 尾部和の漸近的解析と積分近似を用いて、特に重尾分布やスパースな分布において期待誤差と分離レートを評価・制限する。
• 標本サイズとプライバシー水準に基づく分離レートの上界を特徴付けるためのしきい値 $x_{n\alpha^2} = \inf\{x \geq 1 : L(x) < x^{3/4+\beta}/(n\alpha^2)^{1/2}\}$ を導入する。

実験結果

リサーチクエスチョン

• RQ1 ローカル微分プライバシー下での離散分布の非漸近的適合度検定における最適分離レートは何か？
• RQ2 この設定において、インタラクティブなプライバシー機構は非インタラクティブなものに比べてどのように分離レートを改善するか？
• RQ3 提案されたインタラクティブ機構は、さまざまな分布クラスにおいて分離レートのミニマックス最適性を達成できるか？
• RQ4 ローカル微分プライバシー下でのテスト性能の情報理論的限界は何か？また、帰無仮説の分布の尾部挙動にどのように依存するか？
• RQ5 導出された境界は、特に非漸近的領域において、既存のプライバシー機構の性能とどの程度一致するか？

主な発見

• インタラクティブ機構は非インタラクティブ機構よりも速い分離レートを達成し、重い尾部やスパースな尾部を持つ分布においてその改善効果が顕著である。
• 多項式的減衰分布 $p_0(j) \propto j^{-1-\beta}L(j)$ に対して、非インタラクティブな分離レートは $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \lesssim \frac{\min(x_{n\alpha^2}, d)^{3/4}}{(n\alpha^2)^{1/2}}$ であり、対数要因を除いて下界と一致する。
• 指数的減衰分布 $p_0(j) \propto \exp(-j^\beta)$ に対して、分離レートは $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \lesssim \min\left\{\frac{\log^{3/(4\beta)}(n\alpha^2)}{(n\alpha^2)^{1/2}}, \frac{d^{3/4}}{(n\alpha^2)^{1/2}}\right\}$ であり、下界とも一致する。
• 下界解析により、多項式的尾部に対して $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \gtrsim \frac{\{(n\alpha^2)/\log(n\alpha^2)\}^{(3/4)/(2\beta+3/2)} \wedge d^{3/4}}{(n\alpha^2)^{1/2}}$ が示され、近似的に最適性が証明される。
• 指数的ケースの下界は上界と一致し、$\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \gtrsim \min\left\{\frac{\log^{3/(4\beta)}(n\alpha^2)}{\sqrt{n\alpha^2}}, \frac{d^{3/4}}{\sqrt{n\alpha^2}}\right\}$ が得られ、最適性が確認される。
• 結果は非漸近的であり、有限の標本サイズに対しても有効であり、実世界のプライバシー保護統計的検定に応用可能である。