[論文レビュー] dpUGC: Learn Differentially Private Representation for User Generated Contents

Xuan-Son Vu, Son N. Tran+1 more|arXiv (Cornell University)|Mar 25, 2019

Privacy-Preserving Technologies in Data参考文献 28被引用数 6

ひとこと要約

この論文では、ユーザー生成コンテンツ（UGC）から微分プライバシーを満たす単語埋め込みを学習するための新しいフレームワークであるdpUGCを提案する。トレーニング中にユーザー単位でノイズを注入することで、強力なプライバシー保護を実現しながら、回帰などの下流NLPタスクにおける高い実用性を維持している。特定の文字レベルの意味的検索タスクでは、非プライベートベースラインを上回っている。

ABSTRACT

This paper firstly proposes a simple yet efficient generalized approach to apply differential privacy to text representation (i.e., word embedding). Based on it, we propose a user-level approach to learn personalized differentially private word embedding model on user generated contents (UGC). To our best knowledge, this is the first work of learning user-level differentially private word embedding model from text for sharing. The proposed approaches protect the privacy of the individual from re-identification, especially provide better trade-off of privacy and data utility on UGC data for sharing. The experimental results show that the trained embedding models are applicable for the classic text analysis tasks (e.g., regression). Moreover, the proposed approaches of learning differentially private embedding models are both framework- and data- independent, which facilitates the deployment and sharing. The source code is available at https://github.com/sonvx/dpText.

研究の動機と目的

• 感度の高いユーザー生成コンテンツ（UGC）を学習データとして用いた事前学習済み単語埋め込みにおける再識別リスクに対処すること。
• 特にUGCデータに対して、形式的なプライバシー保証を伴う、プライベートな単語埋め込みの共有を可能にするフレームワークの開発。
• テキスト表現学習において、微分プライバシーによるプライバシーと実用性のより良いトレードオフを達成すること。
• フレームワークおよびデータに依存しない、微分プライバシー単語埋め込みのデプロイおよび共有を可能にするソリューションの提供。
• 回帰などの標準的なNLPタスクにおける微分プライバシー埋め込みの実用性を実証的に検証すること。

提案手法

• 任意の単語埋め込みフレームワークに適用可能な、一般化され、微分可能なノイズ注入法を提案し、微分プライバシーを満たす単語埋め込み学習にノイズを注入する。
• ユーザーごとに勾配をグループ化し、個々の貢献を保護するために、適切にキャリブレーションされたノイズを追加することで、ユーザー単位の微分プライバシーを適用する。
• 確率的勾配降下法中にモデルパラメータにノイズを注入するためにラプラス機構を用い、プライバシー予算（ε, δ）を慎重に制御する。
• 微分可能なノイズ注入プロセスを採用することで、プライバシー保証を確保しながらも、モデルの表現力は維持する。
• ツイートなどのUGCデータでモデルを学習し、意味的類似度および回帰タスクを用いて実用性を評価する。
• フレームワークおよびデータに依存しないデプロイメントをサポートし、幅広い分野のNLP応用においてプライベート埋め込みの共有を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ユーザー生成コンテンツにおける単語埋め込み学習に微分プライバシーを効果的に適用することで、再識別を防げるか？
• RQ2 文書レベルや単語レベルのアプローチと比較して、ユーザー単位の微分プライバシーはプライバシーと実用性のトレードオフにおいてより優れた性能を示すか？
• RQ3 微分プライバシー単語埋め込みは、回帰などの下流NLPタスクにおいて十分な実用性を維持できるか？
• RQ4 ノイズ注入により、単語レベルのパフォーマンスに悪影響を及えるにもかかわらず、埋め込み空間におけるノイズ注入は文字レベルの意味的検索を向上させるか？
• RQ5 事前学習済みの微分プライバシー単語埋め込みを安全に共有することは可能か？特に、パスワードパターンや差別的健康課題などの感受性の高いテキストデータの研究において。

主な発見

• 提案されたdpUGCフレームワークは、プライバシーと実用性の良好なトレードオフを達成しており、(ε, δ) = (0.125, 0.0184) および (0.125, 0.0197) が回帰タスクで最適なパフォーマンスを示している。
• 単語レベルの意味的検索性能（MAP-Word）は低いものの、微分プライバシーを適用したモデルは、文字レベルの意味的検索（MAP-Char）で非プライベートベースラインを上回っており、ノイズが文字レベルでのロバストネスを向上させている可能性を示唆している。
• 回帰タスクにおいて、dpUGCモデルのRMSEは非プライベートベースラインと同等またはわずかに優れているため、高いデータ実用性の維持が確認された。
• ゴールスタンダードモデルとの意味的類似度は妥当な水準を維持しており、MAPスコアは微分プライバシーの適用によってやや劣化しているが、中程度の低下にとどまっている。
• このフレームワークは、フレームワークおよびデータに依存せず、多様なNLP応用分野におけるプライベート埋め込みの広範なデプロイと共有を可能にしている。
• 本手法により、パスワードパターンや差別的健康課題などの感受性の高いUGCデータに関する研究を、個人の再識別リスクを伴わずに安全に実施できるようになった。