[論文レビュー] Synthetic Data: Opening the data floodgates to enable faster, more directed development of machine learning methods

J.B. Jordon, A. Wilson+1 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本論文は、医療データなどの機密性の高いデータセットに特に適した、機械学習研究の加速を目的としたプライバシー保護型の合成データ生成を提案する。特に、微分プライバシーを適用した生成モデル（例：DP-GAN や PATE-GAN）を活用し、高精度でプライバシーが保証された合成データを生成することで、幅広い共同研究や迅速な手法開発を可能にする。

ABSTRACT

Many ground-breaking advancements in machine learning can be attributed to the availability of a large volume of rich data. Unfortunately, many large-scale datasets are highly sensitive, such as healthcare data, and are not widely available to the machine learning community. Generating synthetic data with privacy guarantees provides one such solution, allowing meaningful research to be carried out "at scale" - by allowing the entirety of the machine learning community to potentially accelerate progress within a given field. In this article, we provide a high-level view of synthetic data: what it means, how we might evaluate it and how we might use it.

研究の動機と目的

• 電子カルテなどの大規模かつ機密性の高いデータセットへのアクセス制限が原因で生じる機械学習開発のボトル neck を解消すること。
• 従来の脱識別化や k-匿名性では、プライバシーの強固な保証が得られず、データの有用性が低下するという限界を克服すること。
• データ所有者と機械学習コミュニティの間で、プライバシーを保持しつつも有用性を維持する合成データを生成することで、広範な安全な共同研究を可能にすること。
• 下流の機械学習タスクに有用であると同時に、微分プライバシーなどの手法によってプライバシーが保護された合成データ生成手法を開発・評価すること。
• GDPR などの規制下で求められる社会的・法的期待と整合性を持つプライバシー定義の理解を深めること。

提案手法

• 微分プライバシー機構（例：DP-GAN や PATE-GAN）を統合した生成対向ネットワーク（GAN）を用いて、実データセットから合成データを生成する。
• k-匿名性をプライバシーのベースライン手法として適用するが、データのビン分割や情報損失のため、有用性とスケーラビリティに制限があることを指摘する。
• 相関度の高い順に変数を順序付け、親ノードに条件づけた木構造グラフィカルモデルを用いて、条件付き確率モデルによる合成データの構築を行う。
• 50-匿名性を満たすために、条件付き分布をグループ化し、各グループに少なくとも 50 件のレコードが含まれるようにするが、形式的な有用性保証はなく、ヒューリスティックな設計選択に依存する。
• 一部の手法では要約統計量やドメイン固有の知識を活用するが、高次元または混合型データの処理には限界があると指摘する。
• 特に微分プライバシー枠組み下で理論的プライバシー保証を得るために、ノイズ注入やモデル蒸留などのプライバシー保護技術を統合する。

実験結果

リサーチクエスチョン

• RQ1 実データの統計的性質を保持しつつ、強力なプライバシー保証を実現する合成データの生成方法は何か？
• RQ2 微分プライバシー、k-匿名性、メンバーシッププライバシーといった既存のプライバシー定義は、データ共有における社会的・法的期待とどの程度整合しているか？
• RQ3 GAN を用いた合成データ生成において、プライバシーとデータ有用性のトレードオフはどのようなものか？
• RQ4 実データへのアクセスが許可される前段階で、合成データが機械学習モデルの開発やベンチマークに有効に機能するか？
• RQ5 一般用途のツールとして適用するのではなく、合成データ生成に特化して再設計されたプライバシー機構はどのように開発できるか？

主な発見

• 微分プライバシーを適用した GAN（DP-GAN や PATE-GAN）は、連続値・離散値・バイナリ値を含む混合型データを生成する際、非プライベートまたはヒューリスティックな手法を上回る性能を示し、形式的なプライバシー保証を提供する。
• 従来の脱識別化や k-匿名性では、外部データセットと組み合わせたリンケージアタックにより再識別が可能であるため、強固なプライバシー保証が得られない。
• 50-匿名性制約を課した条件付き確率木を用いた合成データ生成はプライバシーを確保するが、形式的な有用性保証がなく、ヒューリスティックな設計選択に依存する。
• 合成データの評価手法は限定的であり、しばしば下流タスクの性能に依存するため、標準化され、タスクに依存しないメトリクスの開発が急務である。
• 合成データの活用により、研究者は共同研究の候補者を事前にスクリーニングし、モデル開発を加速できる可能性があり、実世界の機械学習アプリケーションのデプロイまでの時間を短縮できる。
• 技術的プライバシー定義を、GDPR などの規制下での社会的・法的プライバシー理解と一致させる必要が依然として高く、信頼性と導入促進のための鍵である。