[論文レビュー] Privacy-preserving Prediction

Cynthia Dwork, Vitaly Feldman|arXiv (Cornell University)|Mar 27, 2018

Privacy-Preserving Technologies in Data参考文献 24被引用数 19

ひとこと要約

本稿では、個々の予測の微分プライバシーを保証するが、完全なモデルの微分プライバシーを保証しないという、プライバシー保護型機械学習の新しいアプローチを提案する。非プライベートモデルのプライベートな集約を用いて実現する。ブール関数クラスでは近似的に最適なサンプル複雑度を達成し、しきい値や凸回帰の分野で、微分プライベート予測アルゴリズムの強力な一般化保証を活用することで、先行研究を改善する。

ABSTRACT

Ensuring differential privacy of models learned from sensitive user data is an important goal that has been studied extensively in recent years. It is now known that for some basic learning problems, especially those involving high-dimensional data, producing an accurate private model requires much more data than learning without privacy. At the same time, in many applications it is not necessary to expose the model itself. Instead users may be allowed to query the prediction model on their inputs only through an appropriate interface. Here we formulate the problem of ensuring privacy of individual predictions and investigate the overheads required to achieve it in several standard models of classification and regression. We first describe a simple baseline approach based on training several models on disjoint subsets of data and using standard private aggregation techniques to predict. We show that this approach has nearly optimal sample complexity for (realizable) PAC learning of any class of Boolean functions. At the same time, without strong assumptions on the data distribution, the aggregation step introduces a substantial overhead. We demonstrate that this overhead can be avoided for the well-studied class of thresholds on a line and for a number of standard settings of convex regression. The analysis of our algorithm for learning thresholds relies crucially on strong generalization guarantees that we establish for all differentially private prediction algorithms.

研究の動機と目的

• ブラックボックスアクセスによる予測モデルへの攻撃者が機微な情報を推測できる機械学習におけるプライバシーリスクに対処すること。
• 完全なモデルの微分プライバシーではなく、個々の予測の微分プライバシーを保証することで、微分プライベート学習におけるサンプル複雑度のオーバーヘッドを低減できるかどうかを調柜すること。
• 高い精度を維持しつつ、単一の予測に対してプライバシーを提供するアルゴリズムの開発と分析を行うこと。
• 完全にプライベートなモデルを訓練するのと比較して、非プライベートモデルのプライベートな集約が、より高い効率性を達成できるかどうかを検討すること。
• 微分プライベート予測インターフェースの一般化バウンドを確立し、より優れたアルゴリズム設計を支援すること。

提案手法

• 下位のモデルは非プライベートだが、予測インターフェースのみが微分プライベートである新しいプライバシー・モデルを定式化する。
• データの不重複なサブセットと非プライベートモデルからの予測のプライベートな集約を用いたベースライン手法を提案する。
• 強い一般化保証を活用することで、プライベートな集約のオーバーヘッドを回避する、直線上のしきい値を学習するための新規アルゴリズムを導入する。
• モーメントに基づく解析とマルコフの不等式を用いて、微分プライベート予測アルゴリズムの一般化バウンドを導出する。
• 凸回帰にこのフレームワークを適用し、標準的な設定で改善されたサンプル複雑度を示す。
• 一様な予測安定性の概念を用いて、集約ベースのアプローチにおけるプライバシーのオーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 個々の予測の微分プライバシーを保証することで、プライベートモデル学習と比較してサンプル複雑度のオーバーヘッドを低減できるか？
• RQ2 データ分布に関する強い仮定がない状況下で、微分プライベート予測の最適なサンプル複雑度は何か？
• RQ3 非プライベートモデルのプライベートな集約が、任意のブール関数クラスに対して近似的に最適なサンプル複雑度を達成できるか？
• RQ4 強い一般化保証を活用することで、効率的な微分プライベート予測アルゴリズムを設計できるか？
• RQ5 しきい値や凸回帰のような特定の問題では、プライベートな集約におけるプライバシーのオーバーヘッドを回避できるか？

主な発見

• 非プライベートモデルのプライベートな集約は、任意のブール関数クラスのPAC学習において、ほぼ最適なサンプル複雑度を達成する。
• 直線上のしきい値の学習において、提案されたアルゴリズムは、強い一般化保証を活用することで、プライベートな集約のオーバーヘッドを回避する。
• 補題6.5における一般化バウンドは、新しいデータセットにおける期待誤差が、確率1−β以上でα·e²√(ε ln(1/β))に有界であることを示している。
• 本手法により、高次元データにおける標準的な微分プライベート学習に見られる次元依存のサンプル複雑度ペナルティが解消される。
• 解析により、微分プライベート予測が強い一般化をもたらすことが示されたが、微分プライベートで訓練されたモデルほど強くはなかった。
• 一般化バウンドにおける要因e²√(ε ln(1/β))は、e^O(ε)を達成可能である可能性を示唆しており、改善の余地がある。