[論文レビュー] Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data

Nicolas Papernot, Martı́n Abadi+3 more|arXiv (Cornell University)|Oct 18, 2016

Privacy-Preserving Technologies in Data被引用数 186

ひとこと要約

PATEは教師アンサンブルのプライベート集約を導入して、生データの差分プライバシーを備えた student モデルを訓練し、機微データからの半教師あり学習を可能にしつつ、厳密なプライバシー保証と競争力の精度を提供します。GANベースの半教師付き学習を用いてMNISTとSVHNで最先端のプライバシー/ユーティリティを示します。

ABSTRACT

Some machine learning applications involve training data that is sensitive, such as the medical histories of patients in a clinical trial. A model may inadvertently and implicitly store some of its training data; careful analysis of the model may therefore reveal sensitive information. To address this problem, we demonstrate a generally applicable approach to providing strong privacy guarantees for training data: Private Aggregation of Teacher Ensembles (PATE). The approach combines, in a black-box fashion, multiple models trained with disjoint datasets, such as records from different subsets of users. Because they rely directly on sensitive data, these models are not published, but instead used as "teachers" for a "student" model. The student learns to predict an output chosen by noisy voting among all of the teachers, and cannot directly access an individual teacher or the underlying data or parameters. The student's privacy properties can be understood both intuitively (since no single teacher and thus no single dataset dictates the student's training) and formally, in terms of differential privacy. These properties hold even if an adversary can not only query the student but also inspect its internal workings. Compared with previous work, the approach imposes only weak assumptions on how teachers are trained: it applies to any model, including non-convex models like DNNs. We achieve state-of-the-art privacy/utility trade-offs on MNIST and SVHN thanks to an improved privacy analysis and semi-supervised learning.

研究の動機と目的

• 機微データを扱う機械学習アプリケーションにおける訓練データのプライバシー保護の必要性を動機づける。
• ディスジョイントな機微データセットで訓練された教師のアンサンブルを用いて public データにラベルを付け、student を作る一般的なフレームワーク（PATE）を提案する。
• 教師と学生の知識移転に関する厳密な差分プライバシー分析を提供し、moments accountant に基づく境界を含む。
• GANベースの半教師付き学習が教師へのクエリ回数を減らし、プライバシー-ユーティリティのトレードオフを改善できることを示す。
• MNISTとSVHNでの実証結果を示し、従来のプライベート学習法との比較を行う。

提案手法

• 機微な訓練データを n 個のdisjointなサブセットに分割し、各サブセットで n 個の教師モデルを訓練して教師アンサンブルを形成する。
• 公開データのラベルなしデータに対する教師の予測を、投票数にラプラスノイズを加えて集計し、ノイズ付き最大値を選択して集約する。
• ノイズ付き教師アンサンブルから提供された一部のラベルを用いて、公開データ上で student モデルを半教師付き学習で訓練する。
• GANベースの半教師付き学習を適用して、限られたラベル付き事例と未ラベルデータを活用しつつ student を訓練する。
• moments accountant を用いて、教師クエリと学生訓練全体での差分プライバシー損失（epsilon, delta）をデータ依存的な精緻な境界で抑制する。
• このアプローチはアーキテクチャに依存せず、深層学習だけでなく他のモデルにも適用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 深層学習の訓練データに対してブラックボックスのアンサンブルベースのラベリング機構が意味のある差分プライバシー保証を提供できるか。
• RQ2 半教師付き学習（特にGANベース）がPATEフレームワークにおけるプライバシー損失とモデル性能にどう影響するか。
• RQ3 標準的なベンチマーク（MNIST, SVHN）において、従来のプライベート学習法と比較して現実的なプライバシー-ユーティリティのトレードオフはどうか。
• RQ4 教師の数とクォーラムのギャップがプライバシー予算とラベリング精度にどう影響するか。
• RQ5 PATEフレームワークを他のモデルやデータタイプ（例：医療データ）に拡張してプライバシー保証を保てるか。

主な発見

• PATEフレームワークは、learnerに依存せず教師の投票をノイズ付きで集約することで黒箱的に訓練データの差分プライバシー保証を提供する。
• GANベースの半教師付き学習（PATE-G）では、MNISTで ε=2.04、δ=1e-5 のとき 98.00% の精度、SVHNで ε=8.19、δ=1e-6 のとき 90.66% の精度で、意味のあるプライバシー予算の下で競争力のある精度を達成する。
• 250人の教師のアンサンブルを用いた場合、MNISTの集約精度は 93.18%、SVHNは 87.79% で、ε=0.05 per query、noise耐性を高める多くの教師を可能にする。
• MNISTの結果は100回のラベルクエリで ε=2.04（δ=1e-5）、精度は 98.00% に達し、MNIST における従来のプライベート法（例：Abadi et al., 2016）より改善される。SVHN は 1000 クエリで ε=8.19（δ=1e-6）、精度は 90.66%。
• このアプローチはMNIST/SVHN を超えて医療データなどにも適用可能で、Appendix C のランダムフォレストを含むデータモダリティ間の汎用性を示している。
• moments accountant はデータ依存的なプライバシー分析を提供し、教師のクォーラムが強い場合に境界を狭めることができる。