[論文レビュー] Differentially Private Releasing via Deep Generative Model

Xinyang Zhang, Shouling Ji+1 more|arXiv (Cornell University)|Jan 5, 2018

Privacy-Preserving Technologies in Data参考文献 4被引用数 53

ひとこと要約

本稿では、洗練されたデータを公開する代わりに、プライバシー保護された深層生成モデルを公開する、差分プライバシーを適用した生成モデリングフレームワークであるdp-GANを提案する。これにより、プライバシーを保ちつつ、多様な分析に適した無制限の合成データ生成が可能となり、スケーラブルでマルチフォールドの最適化戦略により、理論的プライバシー保証と高いデータ有用性を両立する。

ABSTRACT

Privacy-preserving releasing of complex data (e.g., image, text, audio) represents a long-standing challenge for the data mining research community. Due to rich semantics of the data and lack of a priori knowledge about the analysis task, excessive sanitization is often necessary to ensure privacy, leading to significant loss of the data utility. In this paper, we present dp-GAN, a general private releasing framework for semantic-rich data. Instead of sanitizing and then releasing the data, the data curator publishes a deep generative model which is trained using the original data in a differentially private manner; with the generative model, the analyst is able to produce an unlimited amount of synthetic data for arbitrary analysis tasks. In contrast of alternative solutions, dp-GAN highlights a set of key features: (i) it provides theoretical privacy guarantee via enforcing the differential privacy principle; (ii) it retains desirable utility in the released model, enabling a variety of otherwise impossible analyses; and (iii) most importantly, it achieves practical training scalability and stability by employing multi-fold optimization strategies. Through extensive empirical evaluation on benchmark datasets and analyses, we validate the efficacy of dp-GAN.

研究の動機と目的

• 複雑で意味的豊かなデータ（例：画像、テキスト）を公開する際のプライバシーとデータ有用性の両立を図ること。
• 過剰な保護によりデータ有用性が著しく損なわれる従来のデータ洗練手法の限界を克服すること。
• 生成モデリングの文脈において、差分プライバシーを用いた理論的裏付けのあるプライバシー保証を提供すること。
• 実世界のデータワークロードに対応できる、スケーラブルで安定したプライベート生成モデルの訓練を可能にすること。
• 生データや洗練済みデータではなく、1つのプライベート生成モデルを公開することにより、幅広い下流分析タスクを支援すること。

提案手法

• データ管理者が、差分プライバシー最適化手法を用いて、元のデータ上で深層生成モデル（例：GAN）を訓練する。
• モデルの記憶を制限するために、勾配のクリッピングやノイズ注入機構を用いて、トレーニング中に差分プライバシーを強制する。
• トレーニングの安定性とスケーラビリティを向上させるために、マルチフォールド最適化戦略を採用し、モード崩壊のリスクを低減し、収束性を改善する。
• 訓練された生成モデルを公開し、分析者がさまざまな分析タスクに適した無制限の合成データをサンプリングできるようにする。
• データ公開と分析を分離することで、形式的なプライバシー保証のもと、柔軟でタスクに依存しないデータ合成を実現する。
• 分析毎の洗練処理を回避し、プライベート生成モデルを信頼できる合成データのソースとして活用する。

実験結果

リサーチクエスチョン

• RQ1 下流タスクの有用性を維持しつつ、深層生成モデルを差分プライバシー的に訓練できるか？
• RQ2 提案されたマルチフォールド最適化戦略は、プライベート生成モデリングにおけるトレーニングの安定性とスケーラビリティをどのように向上させるか？
• RQ3 複雑なデータドメインにおいて、dp-GANは従来の洗練手法と比較して、どの程度データ有用性を保持できるか？
• RQ4 再トレーニングや再プライバシー化なしに、公開された生成モデルが幅広い分析タスクをサポートできるか？
• RQ5 提案されたフレームワークにおいて、プライバシー予算、モデル有用性、トレーニング安定性の間にはどのようなトレードオフが生じるか？

主な発見

• dp-GANは、生成モデルのトレーニング段階で差分プライバシーを強制することで、強力な理論的プライバシー保証を達成する。
• フレームワークは高いデータ有用性を維持しており、従来の過剰に洗練されたデータでは不可能な多様な下流分析を可能にする。
• マルチフォールド最適化戦略は、トレーニングの安定性とスケーラビリティを顕著に向上させ、複雑なデータに対するプライベート生成モデリングを実用可能にする。
• ベンチマークデータセットを用いた実証評価により、dp-GANがプライバシー-有用性トレードオフおよびモデル忠実度の両面で代替手法を上回ることが確認された。
• 公開された生成モデルにより、追加のプライバシー負荷なしに、無制限の合成データ生成が可能となり、任意の分析タスクをサポートできる。
• 過剰なデータ洗練の必要性が低減され、合成出力における豊かな意味的構造が保持される。