[論文レビュー] Differentially Private Learning Needs Better Features (or Much More Data)

Florian Tramèr, Dan Boneh|arXiv (Cornell University)|Nov 23, 2020

Privacy-Preserving Technologies in Data参考文献 75被引用数 66

ひとこと要約

本論文は、差分プライベート学習が手作り特徴（ScatterNet）や転移学習から大きく恩恵を受けることを示し、エンドツーエンドの private deep learning はデータ量が相当多い場合や公開データが利用可能な場合を除き遅れをとる。

ABSTRACT

We demonstrate that differentially private machine learning has not yet reached its "AlexNet moment" on many canonical vision tasks: linear models trained on handcrafted features significantly outperform end-to-end deep neural networks for moderate privacy budgets. To exceed the performance of handcrafted features, we show that private learning requires either much more private data, or access to features learned on public data from a similar domain. Our work introduces simple yet strong baselines for differentially private learning that can inform the evaluation of future progress in this area.

研究の動機と目的

• プライベートなエンドツーエンド学習と浅い手作り特徴ベースラインの視覚タスクにおける有用性の差を動機づけて定量化する。
• 差分プライベート学習のための強力な手作りベースライン（ScatterNet特徴とDP-SGD）を提案・評価する。
• 手作り特徴の利点の背後にある収束性とデータ要件を含む要因を調査する。
• より多くのデータや公開データからの転移学習によりプライバシーと有用性のギャップを縮小できるかを評価する。
• 実用的なベースラインを提供し、プライベートディープラーニングの改善に向けた実践的な方向性を示す。

提案手法

• ScatterNetを固定された非学習特徴抽出器として使用し、画像プリオリ（小さな回転/平行移動に対する不変性）を符号化する。
• ScatterNet特徴上でDP-SGDを用いて正規化を慎重に選択し、プライベートな線形モデルまたはプライベートなCNNを学習する。
• MNIST、Fashion-MNIST、CIFAR-10の各データセットで、様々なDP予算に対してプライベート ScatterNetベースラインとエンドツーエンドのプライベートCNNを体系的に比較する。
• プライベート学習の性能に対する収束挙動および特徴次元性、学習率、バッチサイズの影響を分析する。
• 追加のプライベートデータ（疑似ラベル付きTiny Images）や公開データ（CIFAR-100、SimCLR/ImageNet）からの転移学習を通じてDPの有用性を改善する。
• 再現可能な結果を報告し、再現用の公開コードを提供する。

実験結果

リサーチクエスチョン

• RQ1 差分プライベート視覚モデルにおいて、手作り特徴はエンドツーエンドのプライベート学習と比較してプライバシーと有用性のトレードオフを改善できるか。
• RQ2 ScatterNet特徴は標準的な視覚ベンチマーク下で Moderateなプライバシー予算のもとで収束とDP-SGD性能にどのように影響するか。
• RQ3 エンドツーエンドのプライベートモデルが手作り特徴ベースラインに追いつくために必要なデータコスト（プライベートデータまたは公開データ）はどれか。
• RQ4 公開データからの転移学習や大規模なプライベートデータセットはDP-SGDのプライバシー有用性ギャップを縮めるか。
• RQ5 高品質な手作り特徴で学習した深いネットワークは線形モデルよりも優れる条件は何か。

主な発見

データ	ε-DP	出典	CNN	ScatterNet+linear	ScatterNet+CNN
MNIST	1.2	Feldman & Zrnic ( 2020 )	96.6	98.1±0.1	97.8±0.1
Fashion-MNIST	2.7	Papernot et al. ( 2020a )	86.1	89.5±0.0	88.7±0.1
CIFAR-10	3.0	Nasr et al. ( 2020 )	55.0	67.0±0.1	69.3±0.2

• ScatterNet特徴で学習した線形モデルは、MNIST、Fashion-MNIST、CIFAR-10でDP予算ε ≤ 3 の場合、エンドツーエンドのプライベートCNNを上回る。
• CIFAR-10では ScatterNet+線形が DP 予算に応じて 67.0–69.3% を達成し、従来のエンドツーエンドのプライベートCNN結果を上回り、基準値に対して約134倍（e⁴⁺）のDP保証を改善。
• MNIST では ScatterNet ベースのアプローチが PATE など公開データなしのプライベート転移学習ベンチマークを越えるか同等になる。
• ScatterNet特徴上で学習した深いモデルは、CIFAR-10 など一部ケースでエンドツーエンドのプライベートCNNよりも性能を改善する。
• ScatterNet特徴の正規化（グループ正規化またはデータ正規化）は収束とプライバシー有用性の性能に重要であり、データ正規化はCIFAR-10でプライバシーコストが正当化される場合にグループ正規化を上回る。
• 追加のプライベートデータや公開のラベルなしデータ（例：ImageNet、SimCLR）はプライベートのエンドツーエンド学習を大幅に向上させ、エンドツーエンドモデルが ScatterNetベースのベースラインに近づくか上回ることを可能にする。
• 公開データからの転移学習（例：CIFAR-100、SimCLR/ImageNet）はDP下で顕著な gains を生み、プライベート学習で高品質な特徴の価値を示している。