[論文レビュー] Kamino: Constraint-Aware Differentially Private Data Synthesis

Chang Ge, Shubhankar Mohapatra+2 more|arXiv (Cornell University)|Dec 31, 2020

Privacy-Preserving Technologies in Data参考文献 74被引用数 9

ひとこと要約

Kamino は、確率的データベースフレームワークを用いて否定制約（DCs）を明示的にモデル化することで、関係データ構造を保持する微分プライバシーなデータ合成システムである。joint probability を条件付き確率の連鎖に分解し、混合データ型を扱うために注意メカニズムを用いたプライベートなタプル埋め込みを採用し、分類およびマージナルクエリタスクにおいて最先端の性能を達成しながら、強力なプライバシー保証と最小限の制約違反を維持する。

ABSTRACT

Organizations are increasingly relying on data to support decisions. When data contains private and sensitive information, the data owner often desires to publish a synthetic database instance that is similarly useful as the true data, while ensuring the privacy of individual data records. Existing differentially private data synthesis methods aim to generate useful data based on applications, but they fail in keeping one of the most fundamental data properties of the structured data -- the underlying correlations and dependencies among tuples and attributes (i.e., the structure of the data). This structure is often expressed as integrity and schema constraints, or with a probabilistic generative process. As a result, the synthesized data is not useful for any downstream tasks that require this structure to be preserved. This work presents Kamino, a data synthesis system to ensure differential privacy and to preserve the structure and correlations present in the original dataset. Kamino takes as input of a database instance, along with its schema (including integrity constraints), and produces a synthetic database instance with differential privacy and structure preservation guarantees. We empirically show that while preserving the structure of the data, Kamino achieves comparable and even better usefulness in applications of training classification models and answering marginal queries than the state-of-the-art methods of differentially private data synthesis.

研究の動機と目的

• 既存の微分プライバシーなデータ合成手法における構造的保持の欠如、特に否定制約（DCs）のような関係的制約に関して解決する。
• 実世界の関係データベースに内在する相関構造および整合性制約を維持しつつ、微分プライバシーを保証するエンドツーエンドのシステムを構築すること。
• 分類やマージナルクエリの回答といった下流アプリケーションが、真のデータの統計的および構造的特性に類似した合成データ上で高い性能を発揮できるようにすること。
• プライベートな DC 重みの推定と、最小限のパフォーマンスオーバーヘッドで合成インスタンスを生成する効率的でスケーラブルな学習およびサンプリングパイプラインを設計すること。

提案手法

• Kamino は、DCs を満たす有効なインスタンスに高い確率を割り当てる確率的データベースとしてデータベースをモデル化し、DCs をモデル内のパrametric 要因として使用する。
• 与えられた否定制約に基づいて、データベースインスタンスの連鎖確率を条件付き確率の連鎖に分解することで、効率的な学習とサンプリングを可能にする。
• 混合カテゴリカルおよび数値属性を扱うために、学習済み埋め込みとアテンションメカニズムを用いてタプルレベルの分布をプライベートに推定する。
• 各否定制約の重要性を推定するためのプライベートな重み学習アルゴリズムを設計し、それらを確率的モデル内でのソフト制約として扱う。
• すべての学習およびサンプリングステップにわたるタイトなエンドツーエンドの微分プライバシー境界を計算するために、高度なプライバシー合成技術を用いる。
• 後処理によるサンプリングを用いて合成データベースを生成し、出力が後処理の性質により微分プライバシーに保証されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーなデータ合成は、分類タスクの性能に不可欠な否定制約のような複雑な関係的構造を保持できるか？
• RQ2 微分プライバシーを維持しつつ、属性およびタプルレベルの相関を効率的にモデル化・学習できるか？
• RQ3 否定制約を組み込むことで、最先端の手法と比較して分類およびマージナルクエリワークロードにおける合成データの性能がどの程度向上するか？
• RQ4 制約に配慮したプライベートな学習およびサンプリングのパフォーマンスオーバーヘッドはどの程度で、性能やプライバシーを損なわずに最小限に抑えられるか？

主な発見

• Kamino は、分類タスクにおいて最先端の手法と同等またはそれ以上の性能を達成し、合成データ上で高い正解率と F1 スコアを実現した。
• マージナルクエリワークロードにおいて、Kamino が生成する合成データの真のデータとの変動距離は、既存のアプローチと同等または優れている。
• Kamino が生成する合成データは、真のデータと同等の数の否定制約違反を示しており、強力な構造的保持を示している。
• 制約モデルの追加による複雑さにもかかわらず、構造に配慮しない手法と比較して、パフォーマンスオーバーヘッドは無視できるほど小さい。
• Kamino は、プライベートに否定制約の重みを学習・解釈でき、生成モデルにおけるソフト制約の強制を可能にした。