[論文レビュー] Private Synthetic Data for Multitask Learning and Marginal Queries

Giuseppe Vietri, Cédric Archambeau+7 more|arXiv (Cornell University)|Sep 15, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、数値特徴量をビニングせず、混合型のカテゴリカルおよび数値特徴量をネイティブに処理できる、微分可能最適化を用いた差分プライバシー準拠の合成データ生成アルゴリズム、RAP++ を提案する。温度付きシグモイドアニーリングとランダム線形射影を用いることで、周辺クエリおよび線形分類器の学習における正確なモーメントマッチングを実現する。RAP++ は、従来手法と比較して周辺クエリの保持精度および線形モデル性能において優れた性能を示し、特に数値特徴量が予測に寄与する場合に 2–5 倍の高速化を達成する。

ABSTRACT

We provide a differentially private algorithm for producing synthetic data simultaneously useful for multiple tasks: marginal queries and multitask machine learning (ML). A key innovation in our algorithm is the ability to directly handle numerical features, in contrast to a number of related prior approaches which require numerical features to be first converted into {high cardinality} categorical features via {a binning strategy}. Higher binning granularity is required for better accuracy, but this negatively impacts scalability. Eliminating the need for binning allows us to produce synthetic data preserving large numbers of statistical queries such as marginals on numerical features, and class conditional linear threshold queries. Preserving the latter means that the fraction of points of each class label above a particular half-space is roughly the same in both the real and synthetic data. This is the property that is needed to train a linear classifier in a multitask setting. Our algorithm also allows us to produce high quality synthetic data for mixed marginal queries, that combine both categorical and numerical features. Our method consistently runs 2-5x faster than the best comparable techniques, and provides significant accuracy improvements in both marginal queries and linear prediction tasks for mixed-type datasets.

研究の動機と目的

• 従来のプライベートな合成データ生成手法が、数値特徴量を高基数のカテゴリカルなビンに変換する必要があるという制限に対処する。この処理はスケーラビリティと精度を損なう。
• 特に混合周辺分布およびクラス条件付き線形しきい値関数を含む、混合型クエリに対して、ビニングを伴わずに直接的かつ微分可能な最適化を可能にする。
• プライバシーを維持しつつ、下流の機械学習に不可欠な統計的関係を保持する、スケーラブルで微分可能な最適化フレームワークを開発する。
• 多数の数値特徴量を有する実世界のデータセットに対して、プライベートな合成データ生成の効率性と精度を向上させる。
• 数値特徴量をネイティブに処理することで、クエリ精度およびモデル訓練の忠実度に顕著な性能向上が達成されることを実証する。

提案手法

• RAP フレームワークの拡張として、モーメントマッチングのための微分可能な最適化を用いて、カテゴリカルおよび数値特徴量を直接処理する RAP++ を導入する。
• 2 つの主要なクエリクラスを定義する：混合周辺分布（混合特徴タイプの結合分布）およびクラス条件付き線形しきい値関数（線形分類器性能の維持）。
• 線形しきい値クエリにおける非微分可能関数に対して、滑らかで微分可能な代替関数 $ \frac{1}{1 + \exp(-\sigma(x - b))} $ を用いてシグモイド近似を適用する。
• 温度付きシグモイドアニーリングを実装する：勾配ノルムに応じて逆温度 $ \sigma $ を動的に増加させることで、近似の正確性と最適化の安定性のバランスを取る。
• 高次元の混合型特徴空間における効率的な表現と最適化の実現のため、ランダム線形射影クエリを用いる。
• 合成データ生成における差分プライバシー制約下でのエンドツーエンド最適化に、確率的勾配降下法（SGD）または Adam を活用する。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシー準拠の合成データ生成手法は、数値特徴量のビニングを伴わずに、カテゴリカルおよび数値特徴量を組み合わせた混合型周辺クエリを保持できるか？
• RQ2 クラス条件付き線形しきい値クエリにおける非微分可能関数を、プライベートな合成データ生成における微分可能な最適化を可能にする形で効果的に近似できるか？
• RQ3 温度付きシグモイドアニーリングによるシグモイド近似の傾きの動的調整は、固定された最適な $ \sigma $ が存在しない状況下で、最適化の安定性と正確性を向上させるか？
• RQ4 ビニングベースの手法と比較して、数値特徴量のネイティブ処理が、クエリ公開および下流の機械学習タスクにおける実行時間と精度にどの程度の向上をもたらすか？
• RQ5 数値特徴量が予測に寄与する場合、RAP++ が生成するプライベートな合成データは、既存のプライベートベースラインと比較してより正確な線形分類器の学習を可能にするか？

主な発見

• RAP++ は、US 約数データセットにおいて、PGM、DP-CTGAN、DP-MERF よりも混合周辺クエリおよびクラス条件付き線形しきい値クエリの保持精度が高く、特に低プライバシー予算（$ \epsilon \leq 1 $）で顕著な優位性を示す。
• RAP++ は、同等の性能を示す最良の手法（PGM）と比較して、評価されたすべてのデータセットおよびプライバシー水準で 2–5 倍の高速化を達成している。
• 単一タスク学習において、$ \epsilon = 0.15 $ および $ \epsilon = 1 $ の条件下で、3 つの ACS 単一タスクデータセット（例：収入、雇用、保険カバー）において、すべてのベースラインより高い F1 スコアを達成しており、非プライベートのゴールドスタンダードに近い性能を示している。
• マルチタスク学習において、数値特徴量が予測に寄与する収入予測タスクで、RAP++ は PGM よりも顕著に優れた F1 スコアを達成しており、特に $ \epsilon $ が小さい場合に顕著である。
• 数値特徴量が予測に寄与しないタスク（例：雇用）では、PGM がわずかに RAP++ を上回るが、RAP++ は依然として競争力のある性能を維持しており、実行時間の優位性を示している。
• 線形モデルにおいて優れた性能を示したが、RAP++ が生成した合成データを用いて学習されたより複雑なモデルは、線形モデルの性能を上回ることはなく、プライベートな合成データからの非線形学習の実現にはギャップが残っていると考えられる。