[論文レビュー] Benchmarking Differentially Private Synthetic Data Generation Algorithms

Yuchao Tao, Ryan M. McKenna+3 more|arXiv (Cornell University)|Dec 16, 2021

Privacy-Preserving Technologies in Data被引用数 24

ひとこと要約

DP 合成データ生成アルゴリズムをタブularデータで系統的にベンチマークし、単一の分布とペアワイズ分布、相関、機械学習分類を評価。周辺ベースの手法は一貫して高い性能を示す一方、GANベースの手法はしばしば低性能である。

ABSTRACT

This work presents a systematic benchmark of differentially private synthetic data generation algorithms that can generate tabular data. Utility of the synthetic data is evaluated by measuring whether the synthetic data preserve the distribution of individual and pairs of attributes, pairwise correlation as well as on the accuracy of an ML classification model. In a comprehensive empirical evaluation we identify the top performing algorithms and those that consistently fail to beat baseline approaches.

研究の動機と目的

• 表形式データにおける個々の属性と属性のペアの分布を、さまざまな DP 合成データアルゴリズムがどれだけ正しく保持するかを評価する。
• ペア間の相関の保持と、合成データが機械学習分類をどれだけ効果的にサポートするかを評価する。
• データセットとプライバシー予算全体において、上位のアルゴリズムと共通の失敗モードを特定する。

提案手法

• 3クラス（GANベース、周辺ベース、ワークロードベース）の代表的な DP 合成データ機構を収集する。
• 数値属性を離散化する（PrivTree ベースの離散化が好まれることが多い）ことで混合データの扱いを可能にする。
• 複数のプライバシー予算に渡って7つの UCI ベースデータセットで機構を評価し、評価プラットフォームとして SDGym を用いる。
• 4つの指標グループで効用を測定する：一方向マージナル類似度（Ind）、二方向マージナル類似度（Pair）、相関類似度（Corr）、XGBoost による分類精度（F1）。
• プライバシーレベル ε ∈ {0.1, 1.0, 10.0} を含め、データセットと指標を横断した集約性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 異なるプライバシー予算の下で、どの DP 合成データアルゴリズムがタブular データの一変量および二変量分布を最も適切に保持するか？
• RQ2 GANベース、周辺ベース、ワークロードベースの手法は、相関を保持し下流の機械学習タスクを有効にする点でどのように比較されるか？
• RQ3 周辺ベースの手法の効用を最も改善するデータ前処理手順（例：離散化）は何か？
• RQ4 データセット・タスク・ε値全体で単一の優勢手法が存在するか、それともデータセットと指標によって性能ランキングは変わるか？
• RQ5 特定のデータセットと目的の効用に対してアルゴリズムを選択する際の指針は何か？

主な発見

• 周辺ベースの手法は、指標とデータセット全体で一貫して高い順位を占める。
• すべてのデータセット、タスク、ε値で単一の機構が支配的とは限らない。
• 周辺ベースの手法は、GANベースの手法より相関をより良く保持する傾向があるが、GANベースの手法はしばしば1方向マージナルの保持に苦労する。
• 一部の GAN ベース機構は、独立性を仮定した単純なベースラインと同等レベルの分類子しか得られない。
• 離散化戦略は重要で、数値属性には PrivTree ベースの離散化が等幅ビニングよりも高性能であることが多い。
• MWEM-PGM および MST（周辺ベース）は、元データを用いる場合に近い高品質な分類子を可能にする合成データを生成できる。