[論文レビュー] Differentially Private Bayesian Learning on Distributed Data

Mikko Heikkilä, Eemil Lagerspetz+4 more|arXiv (Cornell University)|Mar 3, 2017

Privacy-Preserving Technologies in Data参考文献 28被引用数 15

ひとこと要約

本稿は、分散データ向けのプライバシー保護型ベイジアン学習フレームワークを提案する。この手法は、安全なマルチパーティ計算（DCA）とガウスノイズを用いたプライバシー保護メカニズムを組み合わせ、効率的でプライバシーを確保した推論を実現する。この方法は、信頼できるアグリゲーター環境と同等の近似的最適な精度を達成しながら、データサイズや参加者数の増加に伴い効率的にスケーリングでき、最小限のプライバシーコストで線形回帰タスクにおいて実用性を示している。

ABSTRACT

Many applications of machine learning, for example in health care, would benefit from methods that can guarantee privacy of data subjects. Differential privacy (DP) has become established as a standard for protecting learning results. The standard DP algorithms require a single trusted party to have access to the entire data, which is a clear weakness. We consider DP Bayesian learning in a distributed setting, where each party only holds a single sample or a few samples of the data. We propose a learning strategy based on a secure multi-party sum function for aggregating summaries from data holders and the Gaussian mechanism for DP. Our method builds on an asymptotically optimal and practically efficient DP Bayesian inference with rapidly diminishing extra cost.

研究の動機と目的

• 既存のプライバシー保護型機械学習手法が、全データへの完全なアクセスを必要とする単一の信頼できる参加者を前提としているという制限を解消すること。
• 各クライアントがデータの一部しか保有しない分散環境において、プライバシーを保持したままプライバシー保護型ベイジアン推論を可能にすること。
• 分散集約に起因する追加のノイズを最小限に抑えることにより、学習モデルの高い有効性を確保すること。
• 安全なマルチパーティ計算とプライバシー保護型ベイジアン推論を統合した実用的で効率的かつ証明可能なプライバシー保証を持つフレームワークを開発すること。

提案手法

• 各クライアントが分散して保持する十分統計量の合計を、個々のデータを露呈せずに計算するための安全なマルチパーティ計算（DCA）プロトコルを用いる。
• アグリゲーター側で十分統計量の合計にノイズを注入することで、(ϵ, δ)-プライバシー保護型機械学習を実現するガウスメカニズムを適用する。
• M個の独立した計算ノードを用いた秘密分散により、単一のノードが個々の貢献を再構築できないようにする。
• 固定小数点演算を用いることで、合計集約時にノイズを正確に相殺可能にし、正しいノイズ分布を保証する。
• 分散環境下でのデータスケーリングを実現するためのプライベートな正規化手順を導入し、プライバシー保証を維持する。
• 漸近的に最適な十分統計量の摂動（SSP）手法と分散ノイズ注入を組み合わせることで、統計的効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 信頼できるアグリゲーターが存在しない完全に分散された環境でも、プライバシー保護型ベイジアン学習を効果的に行うことは可能か？
• RQ2 プライバシーを保持しつつ、分散型DP学習におけるノイズ分散をどのようにして低く保てるか？
• RQ3 プライバシー保護型合計集約に安全なマルチパーティ計算を使用した場合、ベイジアン推論における実行時間のオーバーヘッドはどの程度か？
• RQ4 分散型DP手法は、信頼できるアグリゲーター基準と比較して、モデルの精度とプライバシー予算の効率性においてどのように差が現れるか？
• RQ5 プライバシー保証を損なうことなく、分散環境下でプライベートなデータ正規化を実現できるか？

主な発見

• 分散型DPベイジアン学習手法は、信頼できるアグリゲーター基準とほぼ同一の予測性能を達成しており、顕著な精度の低下がない。
• 実行時間はクライアント数や特徴量数の増加に伴いわずかに増加するが、Sparkベースのプロトタイプにおいて良好な実用的スケーラビリティを示している。
• 実際の運用において、分散環境に起因する追加のノイズは無視できるほど小さく、信頼できるアグリゲーター設定とほぼ同一の結果が得られている。
• プライベートなデータ正規化が分散環境で成功裏に実現され、十分統計量の摂動を完全なプライバシー保証のもとで利用可能にした。
• SSP手法の漸近的最適性を維持しており、参加者数が増加するにつれて非プライベート推論性能に収束する。
• 対称暗号と固定小数点演算の使用により、同型暗号を必要とせず、効率的で低コストの安全計算が実現可能である。