[論文レビュー] Privately Learning Markov Random Fields

Huanyu Zhang, Gautam Kamath+2 more|arXiv (Cornell University)|Feb 21, 2020

Privacy-Preserving Technologies in Data参考文献 67被引用数 4

ひとこと要約

本稿は、マークフ・ランダムフィールド（MRF）のプライベートな学習を研究し、微分プライバシーのもとで、構造学習とパラメータ学習には根本的に異なる標本複雑性の要件があることを示している。非プライベートなMRF学習は次元に対して対数的にスケーリングするが、構造学習においては、唯一の近似微分プライバシーがこの効率性を保つ。パラメータ学習および純粋・集中型DPでは、多項式の標本複雑性を必要とし、高次元設定における強いプライバシー由来の分離が明らかになる。

ABSTRACT

We consider the problem of learning Markov Random Fields (including the prototypical example, the Ising model) under the constraint of differential privacy. Our learning goals include both structure learning, where we try to estimate the underlying graph structure of the model, as well as the harder goal of parameter learning, in which we additionally estimate the parameter on each edge. We provide algorithms and lower bounds for both problems under a variety of privacy constraints -- namely pure, concentrated, and approximate differential privacy. While non-privately, both learning goals enjoy roughly the same complexity, we show that this is not the case under differential privacy. In particular, only structure learning under approximate differential privacy maintains the non-private logarithmic dependence on the dimensionality of the data, while a change in either the learning goal or the privacy notion would necessitate a polynomial dependence. As a result, we show that the privacy constraint imposes a strong separation between these two learning problems in the high-dimensional data regime.

研究の動機と目的

• 微分プライバシー制約下でのマークフ・ランダムフィールド（MRF）の学習における標本複雑性を調査すること。
• 微分プライバシーの文脈において、構造学習とパラメータ学習の難易度を比較すること。
• 純粋、集中、近似微分プライバシーの下で、両学習目標における標本複雑性のタイトな下界を確立すること。
• 高次元設定において、プライベートMRF学習が効率的である条件を同定すること。
• 微分プライバシーが、非プライベート設定とは異なり、構造学習とパラメータ学習の複雑性の枠組みを根本的に変えることを示すこと。

提案手法

• 有界なエッジ重みと構造的スパarsityを持つMRFの族を構築し、潜在的なグラフィカルモデル空間をモデル化する。
• 確率的カップリングの議論と情報理論的パッキング境界を用いて、微分プライバシー下での標本複雑性の下界を導出する。
• 異なるMRFパラメータによって誘導される分布間の全変動距離を制限するために、最大カップリング補題を適用する。
• 純粋微分プライバシーのための[ASZ20a]の確率的パッキング議論と、ゼロ集中微分プライバシー（zCDP）のための[BS16]を応用する。
• 異なるMRF分布からのカップリングされた標本間の期待ハミング距離を分析することで、下界を導出する。
• KL発散とカイ二乗距離の結果を組み合わせて、プライバシー損失を制限し、標本複雑性のトレードオフを導出する。

実験結果

リサーチクエスチョン

• RQ1 近似微分プライバシー下で、2項MRFの構造を学習するために必要な最小の標本複雑性は何か？
• RQ2 純粋微分プライバシー下で、MRFのパラメータ学習の標本複雑性は、構造学習と比べてどのように異なるか？
• RQ3 微分プライバシーは、高次元MRFにおける構造学習とパラメータ学習の複雑性に分離を引き起こすか？
• RQ4 集中型または純粋微分プライバシー下でも、MRFの構造学習において対数的標本複雑性を保てるか？
• RQ5 さまざまなプライバシー概念において、プライベートMRF学習の最良の下界は何か？

主な発見

• 近似微分プライバシー下では、2項MRFの構造学習は次元に対して対数的標本複雑性しか必要とせず、非プライベートの場合と一致する。
• 純粋または集中型微分プライバシー下でのパラメータ学習では、次元に対して多項式の標本複雑性が生じ、構造学習が依然として効率的であっても同様である。
• 近似DPにおける構造学習の下界は、$ n = \Omega\left(\frac{\sqrt{p}}{\eta\varepsilon} + \frac{k^2 p}{\varepsilon}\right) $ であり、ここで $ p $ は変数の数、$ \eta $ は最小エッジ重み、$ k $ はアルファベットサイズである。
• ゼロ集中微分プライバシー（zCDP）では、下界は $ n = \Omega\left(\sqrt{\frac{k^2 p}{\rho}}\right) $ であり、$ p $ に対して多項式的依存が示される。
• 結果として、微分プライバシー下では、構造学習とパラメータ学習の間で強い分離が生じる：近似DP下では構造学習は依然として効率的であるが、すべてのプライバシー枠組みにおいてパラメータ学習は著しくコストが高くなる。
• 本研究は、微分プライバシーがMRF学習の複雑性の枠組みを根本的に変えることを明らかにし、厳密なプライバシー制約下では高次元設定におけるパラメータ学習が非現実的になることを示している。