[論文レビュー] Private Set Generation with Discriminative Information

Dingfan Chen, Raouf Kerkouche+1 more|arXiv (Cornell University)|Nov 7, 2022

Privacy-Preserving Technologies in Data被引用数 14

ひとこと要約

この論文は、高次元データの微分プライバシーな生成のための新しいアプローチを提案している。複雑な生成モデルの学習ではなく、下流タスクの有用性を直接最適化することで、少数の合成サンプルを最適化する。下流タスクからの識別的情報を利用することで、MNISTおよびFashion-MNISTで最先端のプライベート生成モデルよりも最大10%高いテスト精度を達成し、メモリと計算コストを削減する。

ABSTRACT

Differentially private data generation techniques have become a promising solution to the data privacy challenge -- it enables sharing of data while complying with rigorous privacy guarantees, which is essential for scientific progress in sensitive domains. Unfortunately, restricted by the inherent complexity of modeling high-dimensional distributions, existing private generative models are struggling with the utility of synthetic samples. In contrast to existing works that aim at fitting the complete data distribution, we directly optimize for a small set of samples that are representative of the distribution under the supervision of discriminative information from downstream tasks, which is generally an easier task and more suitable for private training. Our work provides an alternative view for differentially private generation of high-dimensional data and introduces a simple yet effective method that greatly improves the sample utility of state-of-the-art approaches.

研究の動機と目的

• 既存の微分プライベート生成モデルが高次元データ環境で有用性が低いという問題に対処すること。
• 完全な分布モデリングではなく、下流タスクのパフォーマンスに注目することで、プライベートデータ生成の実用性を向上させること。
• 代表的な合成サンプルの少数に知識を凝縮することで、計算およびメモリのオーバーヘッドを削減すること。
• 厳密なプライバシー制約下で深層生成モデルを学習する代替手段として、より効果的な手法を提供すること。
• 実世界の応用において、情報量の多いサンプルの直接最適化が、複雑なプライベート生成モデリングを上回ることを示すこと。

提案手法

• 深層生成モデルの学習ではなく、少数の合成サンプルを直接最適化することで、微分プライバシー下での学習複雑度を低減する。
• 畳み込みニューラルネットワーク（例：ConvNet分類器）などの下流ニューラルネットワークからの識別的信号を活用し、合成サンプルの最適化を有用性の高い方向に誘導する。
• プライバシー保証を確保するため、微分プライベートな確率的勾配降下法（DP-SGD）を最適化に用いる。
• 合成サンプルの品質と一般化性能を向上させるために、事前学習済みのDCGANからの画像事前分布をオプションで利用可能にする。
• プライバシー、有用性、サンプルの代表性をバランスさせるエンドツーエンドで微分可能な最適化問題としてアプローチを定式化する。
• 複数のデータセット（MNIST、Fashion-MNIST）を対象とし、プライバシー予算やクラスあたりのサンプル数を変化させた設定で評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 高次元データに対して微分プライバシー下で、深層生成モデルの学習ではなく合成サンプルの直接最適化が、性能を上回ることができるか？
• RQ2 下流タスクからの識別的フィードバックを組み込むことで、プライベートな合成データの有用性はどの程度向上するか？
• RQ3 限られたプライバシー予算下で、クラスあたりの合成サンプル数を変化させた場合、この手法はどのようにスケーリングするか？
• RQ4 少数の合成サンプルで、完全な生成モデルと同等またはそれ以上の下流タスク性能を達成できるか？ また、メモリと計算コストはどのように削減されるか？
• RQ5 事前学習済みの画像事前分布の使用は、プライベートな合成サンプルの品質と一般化性能を向上させるか？

主な発見

• 本手法は、(ε,δ) = (10,10⁻⁵) の条件下でクラスあたり20サンプルのみを用いて、MNISTで95.6%、Fashion-MNISTで77.7%のテスト精度を達成し、最先端のプライベート生成モデルを最大10%上回る下流タスクの精度を実現した。
• クラスあたりのサンプル数が少ない（例：1または10）場合でも、下流分類性能が向上し、優れたサンプル効率を示した。
• DCGANベースの画像事前分布を組み込むことで、さらに性能が向上し、クラスあたり10サンプルでMNISTで88.2%、Fashion-MNISTで70.2%の精度を達成した。
• サンプルの複雑度が増加してもロバストに性能を維持し、50サンプル/クラスでも高い性能を発揮したが、低プライバシー予算下では収束が遅くなった。
• データ知識をコンパクトな合成サンプルの集合に凝縮することで、メモリと計算コストを顕著に削減し、実用的な展開性を高めた。
• 結果は、複雑なプライベート生成モデルの学習という現在のパラダイムに疑問を呈し、タスクフィードバックを活用した合成サンプルの直接最適化が、下流分析においてより効果的かつ効率的であることを示している。