[論文レビュー] Generative Models for Effective ML on Private, Decentralized Datasets

Sean Augenstein, H. Brendan McMahan+6 more|arXiv (Cornell University)|Nov 15, 2019

Privacy-Preserving Technologies in Data参考文献 46被引用数 43

ひとこと要約

この論文は、プライバシー保護型フェデレーテッド生成モデルが、 private, decentralized data に直接アクセスできない場合にデータ品質とラベリングの問題をデバッグできることを示しており、テキストには DP-FedAvg-trained RNNs を、画像には DP-FedAvg-GANs を用いる。

ABSTRACT

To improve real-world applications of machine learning, experienced modelers develop intuition about their datasets, their models, and how the two interact. Manual inspection of raw data - of representative samples, of outliers, of misclassifications - is an essential tool in a) identifying and fixing problems in the data, b) generating new modeling hypotheses, and c) assigning or refining human-provided labels. However, manual data inspection is problematic for privacy sensitive datasets, such as those representing the behavior of real-world individuals. Furthermore, manual data inspection is impossible in the increasingly important setting of federated learning, where raw examples are stored at the edge and the modeler may only access aggregated outputs such as metrics or model parameters. This paper demonstrates that generative models - trained using federated methods and with formal differential privacy guarantees - can be used effectively to debug many commonly occurring data issues even when the data cannot be directly inspected. We explore these methods in applications to text with differentially private federated RNNs and to images using a novel algorithm for differentially private federated GANs.

研究の動機と目的

• データをプライバシー保護や分散化のために検査できない場合の ML ワークフローの課題を特定する。
• デバッグタスクのためのデータ検査を置き換える補助的なプライバシー保護生成モデルを用いたワークフローを提案する。
• データを露出させることなく、テキスト（RNN）と画像（GAN）用の DP対応フェデレーテッド生成モデルを示し、データの問題を明らかにする。
• これらのモデルが FL 環境で実世界のデータバグを検出・修正支援できることを示す。

提案手法

• 深層生成モデル、フェデレーテッド学習（FL）、差分プライバシー（DP）という三つの技術を組み合わせ、分散データ上でプライバシー保護生成モデルを訓練する。
• 検査タスクをデータ選択基準として表現し、選択されたサブセット上で生成モデルを訓練して、非検査可能なデータ（T1–T6）を模倣する。
• サーバー側のジェネレータと DP-discriminator の更新を DP-FedAvg-GAN アルゴリズムで実装するなど、GANをフェデレーテッドDP設定に適合させる。
• デバイス上で語彻モデルを訓練するために DP-FedAvg を用いて RNN を訓練し、トークン化と OOV に関連するバグを検出可能にする（T3）。
• 代表的な private データを漏らさずに合成するため、デバイス上の主要モデルと補助 DP モデルの2つの補完的なモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 プライバシー保護型フェデレーテッド生成モデルは、FL 環境でのデバッグにおいて直接データ検査の代わりとなり得るか。
• RQ2 DP-FedAvg-訓練済みの RNNs および GANs は private データを露出させずに一般的なデータ品質と前処理のバグを正確に明らかにできるか。
• RQ3 現実的な母集団規模で、デバッグの有用性を維持しつつ達成可能なプライバシー予算（ε、δ）はどれくらいか。
• RQ4 補助的な生成モデルは、DPおよびFL制約下でテキスト前処理、ラベリング、偏り検出の問題診断にどのように役立つか。

主な発見

qN	N	z	ε	δ
10	425	0.01	9.99e6	2.35e-3
1000	250000	1.00	2.38	4.00e-8
10	2125	0.01	9.99e6	4.71e-4
1000	1250000	1.00	1.48	8.00e-9
10	850	0.01	9.99e6	1.18e-3
1000	500000	1.00	1.79	2.00e-8

• DPフェデレーテッド生成モデルは private データを検査せずにデータ問題のデバッグを可能にする。
• DP-FedAvg-RNNs はトークン化のバグと前処理エラーを示唆する高い OOV レートを明らかにできる。
• DP-FedAvg-GANs は、出力をサブ集団ごとに比較することで、画像前処理のバグ（例: ピクセル反転）を明らかにできる。
• 現実的な母集団規模では、単一桁のプライバシー予算（ε が約1.5〜2.4の範囲）で、有用な合成データ品質を維持しつつ達成可能である。
• このアプローチは、テキストと画像のデバッグの両方のシナリオにおいて実用的なプライバシー保証と有用性のトレードオフを示している。