[論文レビュー] Differentially Private Algorithms for Empirical Machine Learning

Ben Stoddard, Yan Chen+1 more|arXiv (Cornell University)|Nov 20, 2014

Privacy-Preserving Technologies in Data参考文献 20被引用数 21

ひとこと要約

この論文は、実世界の機械学習ワークフローにおける特徴選択およびROC曲線構築のための微分プライバシー手法を導入し、プライベートなデータセット上でプライバシーを保ちながらモデルの学習と評価を可能にする。プライベートな前処理と新規のノイズ追加技術を適用することで、著者らは分類器の精度を顕著に向上させ、一部のケースでは非プライベートなベースラインと同等の性能を達成した。同時に、エンド・ツー・エンドの微分プライバシーを損なわず、有用性を維持した。

ABSTRACT

An important use of private data is to build machine learning classifiers. While there is a burgeoning literature on differentially private classification algorithms, we find that they are not practical in real applications due to two reasons. First, existing differentially private classifiers provide poor accuracy on real world datasets. Second, there is no known differentially private algorithm for empirically evaluating the private classifier on a private test dataset. In this paper, we develop differentially private algorithms that mirror real world empirical machine learning workflows. We consider the private classifier training algorithm as a blackbox. We present private algorithms for selecting features that are input to the classifier. Though adding a preprocessing step takes away some of the privacy budget from the actual classification process (thus potentially making it noisier and less accurate), we show that our novel preprocessing techniques significantly increase classifier accuracy on three real-world datasets. We also present the first private algorithms for empirically constructing receiver operating characteristic (ROC) curves on a private test set.

研究の動機と目的

• 実世界の機械学習ワークフローにおける実用的な微分プライバシー特徴選択の欠如に対処すること。
• プライベートなテストセット上でROC曲線を構築するための初の微分プライバシー手法を開発すること。
• 分類器にのみプライバシー予算を割り当てるのではなく、前処理に割り当てることで、微分プライバシー分類器の精度を向上させること。
• 特徴選択、モデル学習、評価を含む完全な経験的機械学習パイプラインを微分プライバシーのもとで実現すること。
• 既存のプライベート分類器（例：ナイーブベイズ、ロジスティック回帰）をブラックボックスとして扱うことで、非専門家による使いやすさを高めること。

提案手法

• 閾値を超えるか否かの二値出力（閾値上／下）のみを公開することでノイズを最小限に抑える、新しい微分プライバシー比較クエリ手法であるプライベート閾値テスト（PTT）を提案。
• 3つのプライベート特徴選択手法を導入：個々の特徴の予測スコアをノイズ化、特徴をクラスタリング、PTTを用いて有意性閾値に基づく特徴選択。
• ROC曲線生成のための十分統計量を片側範囲クエリとしてモデル化することで、グローバル感度を低減し、低ノイズのプライベート計算を可能にする。
• 後処理を適用してプライベートROC曲線の単調性を保証し、有効性を確保するとともにプライバシー保証を損なわない。
• 分類器学習にブラックボックスアプローチを採用し、任意の既存の微分プライバシー分類器（例：ナイーブベイズ、ロジスティック回帰）との互換性を確保。
• k-再帰メディアンとその他のノイズ機構を用いて微分プライバシー下での頑健な推定を実現し、最適なパフォーマンスを得るためkを⌈log n⌉に設定。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー特徴選択は、実世界のデータセットにおけるプライベート分類器の精度を向上させることができるか？
• RQ2 機密情報の漏洩を防ぎつつ、プライベートなテストセット上で受信者操作特性（ROC）曲線をプライベートに計算することは可能か？
• RQ3 プライバシー予算の一部を前処理（特徴選択）に割り当てることで、直接的なプライベート学習よりも全体的なモデル精度が向上するか？
• RQ4 k-再帰メディアンにおけるkの選択が、プライベートROC曲線推定の有用性に与える影響は何か？
• RQ5 比較クエリにおいて、既存手法（SVT や noisycut）に比べ、プライベート閾値テスト（PTT）はノイズ効率と有用性の面で優れているか？

主な発見

• 3つの実世界データセットにおいて、プライベート特徴選択は分類器の精度を顕著に向上させ、非プライベートベースラインに近い性能を達成した。
• 提案されたプライベート閾値テスト（PTT）は、SVT や noisycut といった競合手法に比べ、よりタイトなプライバシー境界と優れた有用性を実現した。
• 提案手法を用いて生成されたROC曲線は、厳格な微分プライバシー制約下でも高い忠実性と単調性を維持した。
• k-再帰メディアンにおけるkの選択がAUC誤差に強く影響しないことから、⌈log n⌉はプライバシー予算割り当ての頑健なデフォルト設定であると考えられる。
• プライベート特徴選択 followed by プライベート分類が、全特徴セットに対する直接的プライベート学習を上回ることを示し、複数ステップの微分プライバシーワークフローにおける前処理の利点を実証した。
• プライベート特徴選択とプライベートROC評価の組み合わせにより、機密データ上で完全なプライバシー保護を実現した経験的機械学習パイプラインの実現が可能になった。