[論文レビュー] Model-Agnostic Private Learning via Stability

Raef Bassily, Om Thakkar+1 more|arXiv (Cornell University)|Mar 14, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用数 7

ひとこと要約

この論文は、モデルに依存しない微分プライバシー学習アルゴリズムを導入し、モデル固有の設計を必要とせずに、オンライン分類クエリに対して正確でプライバシーを保護する予測を生成する。学習アルゴリズムの安定性、特に平均的安定性の性質を活用することで、非プライベートな学習者に近い性能を達成し、サンプル複雑性はクエリ数とVC次元にのみ依存し、モデルの複雑性に依存しない。

ABSTRACT

We design differentially private learning algorithms that are agnostic to the learning model. Our algorithms are interactive in nature, i.e., instead of outputting a model based on the training data, they provide predictions for a set of $m$ feature vectors that arrive online. We show that, for the feature vectors on which an ensemble of models (trained on random disjoint subsets of a dataset) makes consistent predictions, there is almost no-cost of privacy in generating accurate predictions for those feature vectors. To that end, we provide a novel coupling of the distance to instability framework with the sparse vector technique. We provide algorithms with formal privacy and utility guarantees for both binary/multi-class classification, and soft-label classification. For binary classification in the standard (agnostic) PAC model, we show how to bootstrap from our privately generated predictions to construct a computationally efficient private learner that outputs a final accurate hypothesis. Our construction - to the best of our knowledge - is the first computationally efficient construction for a label-private learner. We prove sample complexity upper bounds for this setting. As in non-private sample complexity bounds, the only relevant property of the given concept class is its VC dimension. For soft-label classification, our techniques are based on exploiting the stability properties of traditional learning algorithms, like stochastic gradient descent (SGD). We provide a new technique to boost the average-case stability properties of learning algorithms to strong (worst-case) stability properties, and then exploit them to obtain private classification algorithms. In the process, we also show that a large class of SGD methods satisfy average-case stability properties, in contrast to a smaller class of SGD methods that are uniformly stable as shown in prior work.

研究の動機と目的

• モデル次元や特徴空間のサイズに依存する従来の微分プライベート学習者の高いサンプル複雑性を解消すること。
• 事前に単一のモデルを確定させることなく、オンライン分類クエリに応えるプライバシー保護フレームワークを構築すること。
• 任意の非プライベートな学習者をブラックボックスとして利用可能にし、性能を保ちつつ微分プライバシーを確保すること。
• VC次元とクエリ数にのみ依存する、アグノスティックPACモデルにおける形式的なサンプル複雑性の上限を提供すること。
• 凸性ではなく安定性を活用することで、非凸設定におけるプライベート学習の新しい理論的基盤を確立すること。

提案手法

• プライベートデータセットの不重複なランダムサブセットで訓練されたモデルのアンサンブルを用い、予測がモデル間で一貫する特徴ベクトルを同定する。
• 距離から不安定性へのフレームワークとスパースベクトル技術を新規に組み合わせ、一貫するクエリに対するプライベート予測を公開する。
• 学習アルゴリズムの平均的安定性（例：SGD）を活用し、置換に基づく議論を用いてこれを最悪ケース安定性へと強化する。
• 複数のモデルが合意する特徴ベクトルに対してラベルを公開するプライベート予測メカニズムを構築し、プライバシーコストを最小限に抑える。
• 後処理を用いて、プライベートに生成されたラベルから最終的な公開可能なモデルを訓練し、エンドツーエンドのプライバシーを保持する。
• 安定性とスパースベクトル技術に基づく微分プライバシー保証を形式的に証明し、誤差とサンプル複雑性の上限を明示する。

実験結果

リサーチクエスチョン

• RQ1 下流のモデルアーキテクチャや学習手順に依存しない微分プライベート学習アルゴリズムを設計可能か？
• RQ2 次元依存のサンプル複雑性ペナルティを負わずに、非プライベート学習者に近い性能を達成できるか？
• RQ3 学習アルゴリズムの安定性、特に平均的安定性を活用してプライベート予測メカニズムを設計可能か？
• RQ4 凸性の仮定なしに、計算的に効率が良くラベルプライベートな学習者をアグノスティックPACモデルで構築可能か？
• RQ5 プライベート学習における、一貫性のない（「悪い」）クエリの数を、全体のサンプル複雑性と正式に関連づけられるか？

主な発見

• 提案されたフレームワークは、サンプル複雑性が一貫性のないクエリ数とVC次元にのみ依存し、モデルの複雑性や入力次元に依存しないプライバシーを達成する。
• 二値分類および多値分類において、形式的な微分プライバシーと性能保証を提供し、誤差は非プライベート学習者に近い。
• 本研究では、アグノスティックPACモデルにおける、計算的に効率が良くラベルプライベートな学習者の初めての構築が行われ、サンプル複雑性の上界は非プライベートのものと対数要因の違いを除いて一致する。
• SGDに基づく多数の手法が平均的安定性を満たすことが示され、これまでの均一安定性を示すSGDバージョンに限定された先行研究を拡張する。
• この技術により、半教師あり知識移譲が可能になる：プライベートに生成されたラベルを用いて、自身が微分プライベートである最終モデルを訓練できる。
• 理論的分析により、アンサンブル内のモデルが合意する特徴ベクトルではプライバシーコストがほぼゼロであることが示され、最小限のノイズで高精度な予測が可能になる。