[論文レビュー] Differentially Private Learning of Undirected Graphical Models using Collective Graphical Models

Garrett Bernstein, Ryan McKenna+4 more|arXiv (Cornell University)|Jun 14, 2017

Privacy-Preserving Technologies in Data参考文献 30被引用数 7

ひとこと要約

本稿では、ノイズが加えられたラプラス化されたデータから真の十分統計量を推定するために、集合的グラフィカルモデル（CGM）を用いた、差分プライバシーを満たす離散的無向グラフィカルモデルの学習手法を提案する。EMフレームワークにCGM推論を統合することで、ノイズの加えられた統計量に対する単純な最尤推定法よりも顕著に優れたモデル品質が得られ、合成データおよび実際の人間移動データの両方で、一般化されたプライバシー保護手法を上回る性能を発揮する。

ABSTRACT

We investigate the problem of learning discrete, undirected graphical models in a differentially private way. We show that the approach of releasing noisy sufficient statistics using the Laplace mechanism achieves a good trade-off between privacy, utility, and practicality. A naive learning algorithm that uses the noisy sufficient statistics "as is" outperforms general-purpose differentially private learning algorithms. However, it has three limitations: it ignores knowledge about the data generating process, rests on uncertain theoretical foundations, and exhibits certain pathologies. We develop a more principled approach that applies the formalism of collective graphical models to perform inference over the true sufficient statistics within an expectation-maximization framework. We show that this learns better models than competing approaches on both synthetic data and on real human mobility data used as a case study.

研究の動機と目的

• 感度の高いデータを保護する条件下で、正確な離散的無向グラフィカルモデルを学習する課題に対処すること。
• データ構造を無視する、理論的根拠が弱い、病理的挙動を示すといった、単純なプライバシー保護学習の限界を、整合的な推論フレームワークを活用することで克服すること。
• ノイズの加えられた統計量を正確なものとみなす代わりに、ノイズの加えられた観測値から真の十分統計量の推論を行うことで、モデルの有用性を向上させること。
• 合成データおよび実世界の移動データの両設定において、一般化されたプライバシー保護学習アルゴリズム（例：PSGD）と比較して、実用的および理論的利点を示すこと。

提案手法

• 十分統計量（クロス集計表）にラプラスメカニズムを適用して差分プライバシーを確保する。感度はモデル内のエッジ数によって上限が定まる。
• Eステップで、ノイズの加えられた観測値から真の十分統計量の推論を実行するEMフレームワークを採用。この推論は集合的グラフィカルモデル（CGM）によって実現される。
• CGM推論技術を活用し、ノイズが加えられたプライバシー保護済み観測値が与えられたもとでの、未観測の真の十分統計量の事後分布を計算する。
• 真の十分統計量の事後平均を用いて最尤推定法を実行することで、ノイズの加えられたデータに対する単純なMLEよりもモデル精度を向上させる。
• 実世界データの前処理として、個々の参加者あたりの寄与量を正規化（1/K あたりのエッジで、K は非ゼロ遷移数）することで感度とノイズの大きさを低減する。
• 提案手法（CGMベース）を、ノイズの加えられた統計量に対する単純なMLEおよび一般化されたプライバシー保護学習（PSGD）と比較し、ホールドアウト対数尤度およびKLダイバージェンスを指標とする。

実験結果

リサーチクエスチョン

• RQ1 ノイズの加えられた十分統計量に対する単純なMLEと比較して、差分プライバシー下での無向グラフィカルモデル学習において、整合的な推論フレームワークがモデル品質を向上させられるか。
• RQ2 真の十分統計量の事後推論に集合的グラフィカルモデル（CGM）を用いることで、モデルの有用性およびプライバシー-有用性トレードオフにどのような影響を与えるか。
• RQ3 提案手法は、実世界データにおいて、PSGDのような一般化されたプライバシー保護学習アルゴリズムと比較して、モデルの正確性および計算効率において優れているか。
• RQ4 提案手法は、単純なプライバシー保護学習に内在する病理的挙動や理論的弱さをどの程度軽減できるか。

主な発見

• CGMベースの手法は、合成データおよび実際の人間移動データの両方で、真の分布からのKLダイバージェンスが低いという点で、単純なMLEよりも顕著にモデル品質が向上している。
• 合成データでは、全プライバシー水準（ε）および母集団サイズ（N）において、CGMは単純なMLEおよびPSGDを常に上回り、低εでも改善が確認された。
• 実際のWiFi移動データでは、CGMは単純なMLEおよびPSGDよりも高いホールドアウト対数尤度を達成しており、εが増加するかNが大きくなるほど性能が向上した。
• 単純なMLEは最も高速だが、CGMは単純なMLEの約4倍～15倍、PSGDの約8倍～46倍遅く、有用性と効率性の間の妥当なトレードオフであると示唆された。
• ノイズの加えられた十分統計量の不確実性を適切に扱うことで、有限サンプル下での一貫性の欠如といった単純なMLEの病理的挙動を効果的に緩和した。
• 実データの前処理として個々の参加者あたりの寄与量を正規化することで、感度をエッジ数の24倍からエッジ数にまで低減でき、より強いプライバシー保証を実現しつつノイズを低減した。