[論文レビュー] Latent Dirichlet Allocation Model Training with Differential Privacy

Fangyuan Zhao, Xuebin Ren+4 more|arXiv (Cornell University)|Oct 9, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用数 6

ひとこと要約

本論文は、3つの新規アルゴリズムを備えた、初めての微分プライバシーを適用したLDA学習フレームワークを提案する：中央集権的データ向けのHDP-LDA、クラウドソーシングデータにおけるローカル微分プライバシー向けのLP-LDA、およびオンラインストリーミングデータ向けのOLP-LDA。コラプセッドギブスサンプリングと微分プライバシーの間の理論的リンクを確立し、トピックサンプリングが指数的メカニズムを通じて本質的にプライバシーを提供することを示した。また、提案手法が強いプライバシー保証のもとで高いモデル実用性を達成していることを検証した。

ABSTRACT

Latent Dirichlet Allocation (LDA) is a popular topic modeling technique for hidden semantic discovery of text data and serves as a fundamental tool for text analysis in various applications. However, the LDA model as well as the training process of LDA may expose the text information in the training data, thus bringing significant privacy concerns. To address the privacy issue in LDA, we systematically investigate the privacy protection of the main-stream LDA training algorithm based on Collapsed Gibbs Sampling (CGS) and propose several differentially private LDA algorithms for typical training scenarios. In particular, we present the first theoretical analysis on the inherent differential privacy guarantee of CGS based LDA training and further propose a centralized privacy-preserving algorithm (HDP-LDA) that can prevent data inference from the intermediate statistics in the CGS training. Also, we propose a locally private LDA training algorithm (LP-LDA) on crowdsourced data to provide local differential privacy for individual data contributors. Furthermore, we extend LP-LDA to an online version as OLP-LDA to achieve LDA training on locally private mini-batches in a streaming setting. Extensive analysis and experiment results validate both the effectiveness and efficiency of our proposed privacy-preserving LDA training algorithms.

研究の動機と目的

• 訓練データからの機微な情報が漏洩する可能性のあるLDA学習におけるプライバシーリスクに対処すること。
• 中央集権的および分散型のLDA学習シナリオ、特にストリーミングデータを含む、包括的なプライバシー保護を提供すること。
• LDAにおけるコラプセッドギブスサンプリング（CGS）の内在的微分プライバシーを形式的に分析し、指数的メカニズムとの関連を明らかにすること。
• 強いプライバシー予算のもとで高いモデル実用性を維持する、実用的で効率的かつプライバシー保護を考慮したLDAアルゴリズムの設計。
• ローカル微分プライバシーをオンラインLDA学習に拡張し、データストリームに対してリアルタイムでプライバシー保護されたトピックモデリングを実現すること。

提案手法

• HDP-LDAを提案。中央集権的微分プライバシーLDA学習アルゴリズムであり、指数的メカニズムによるトピックサンプリングの内在的プライバシーを活用して、CGSにおける中間統計量を保護する。
• LP-LDAを設計。クライアント側でローカル微分プライバシーを用いて個々のドキュメントをクリーニングし、サーバーに送信するローカルプライバシーLDAフレームワーク。
• OLP-LDAを導入。ミニバッチ形式のローカルプライバシーを適用したデータを、事前知識を活用して段階的にモデル精度を向上させるオンラインLDAアルゴリズム。
• OLP-LDAでは、再構成損失と相関損失を組み合わせたハイブリッド損失関数を採用し、ノイズを含むデータストリーム上でモデルの忠実性を向上させる。
• OLP-LDAでは、事前データセットを用いてモデルパラメータを初期化することで、ノイズの影響を軽減し、収束性と性能を向上させる。
• CGSにおける単語カウント統計量とトピック割り当てに微分プライバシーを適用し、(ε, δ)-DPのもとでエンドツーエンドのプライバシー保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 LDAにおけるコラプセッドギブスサンプリングプロセスは、本質的に微分プライバシーを提供可能か。その場合、どのような条件下で可能か？
• RQ2 信頼できるが好奇心の強いサーバーによる推論攻撃から、CGSに基づく中央集権的LDA学習における中間統計量をどのように保護できるか？
• RQ3 クラウドソーシングテキストデータに対するLDA学習に、ローカル微分プライバシーを効果的に適用できるか。その際、実用性の損失が著しくないか？
• RQ4 データがバッチ形式で到着する状況において、各ドキュメントをローカルにクリーニングする必要があるオンラインLDA学習をどのようにプライバシー保護できるか？
• RQ5 プライバシー予算（ε）、モデル実用性（例：パープレキシティ、F1スコア）、およびバッチサイズや事前データセットサイズといったシステムパラメータの間には、どのようなトレードオフが存在するか？

主な発見

• HDP-LDAは、CGSに基づくLDA学習における中間統計量の保護を通じて、顕著なモデル実用性の低下を伴わずに強力なプライバシー保証を達成した。
• LP-LDAは、弱いプライバシー規制下（例：ε = 3.0）においてもCDP-LDAを上回るモデル実用性を示し、εが増加するにつれて通常のCGSの性能に近づいた。
• 十分に大きな事前データセットを用いる場合、OLP-LDAは非プライベートなO-LDAベースラインと同等のパープレキシティ値を達成し、オンライン環境における高い有効性を示した。
• OLP-LDAのパープレキシティはバッチ番号が増加するにつれて単調に減少し、時間経過に伴う安定的かつ段階的なモデル精錬が確認された。
• OLP-LDAのモデル性能は、事前データセットのサイズが大きくなるにつれて向上し、ローカルプライバシー下でも事前知識が精度向上に寄与することを確認した。
• OLP-LDAはミニバッチサイズに対して相対的に感度が低く、実運用における耐障害性と安定性を示した。