[論文レビュー] Distributed Privacy-Preserving Prediction.

Lingjuan Lyu, Yee Wei Law+1 more|arXiv (Cornell University)|Oct 25, 2019

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、分散型微分プライバシーと同型暗号を用いて、信頼できない集約者に対して、生データやモデルパラメータにアクセスせずに複数のモデルの予測を統合できる、分散型プライバシー保護予測（DPPP）フレームワークを提案する。このフレームワークは、プライバシーの強固な保証を達成しながらも、非プライベートなベースラインと同等のパフォーマンスを維持する。

ABSTRACT

In privacy-preserving machine learning, individual parties are reluctant to share their sensitive training data due to privacy concerns. Even the trained model parameters or prediction can pose serious privacy leakage. To address these problems, we demonstrate a generally applicable Distributed Privacy-Preserving Prediction (DPPP) framework, in which instead of sharing more sensitive data or model parameters, an untrusted aggregator combines only multiple models' predictions under provable privacy guarantee. Our framework integrates two main techniques to guarantee individual privacy. First, we improve the previous analysis of the Binomial mechanism to achieve distributed differential privacy. Second, we utilize homomorphic encryption to ensure that the aggregator learns nothing but the noisy aggregated prediction. We empirically evaluate the effectiveness of our framework on various datasets, and compare it with other baselines. The experimental results demonstrate that our framework has comparable performance to the non-private frameworks and delivers better results than the local differentially private framework and standalone framework.

研究の動機と目的

• データやモデルパラメータを共有することで生じる機械学習の共同処理におけるプライバシー漏洩を解消すること。
• 個々のモデルの出力やパラメータを露呈せずに、複数の参加者からの予測を安全に集約できること。
• 信頼できない集約者を想定した分散環境において、証明可能なプライバシー保証を提供すること。
• 非プライベートな学習フレームワークと同等の高い予測性能を維持すること。
• エンド・ツー・エンドのプライバシー保護を実現するため、分散型微分プライバシーと同型暗号を統合すること。

提案手法

• 複数の参加者間で分散型微分プライバシーを達成するために、二項分布機構の強化された解析を採用する。
• 同型暗号を用いて、集約者が個々の寄与を学習せずに予測のノイズ付き合計を計算できるようにする。
• 各参加者が二項分布機構を用いて局所的にプライベートな予測を計算し、個人のプライバシーを保証する。
• 集約者は、これらのノイズ付き予測を同型的に集約し、プロセス全体を通してプライバシーを保持する。
• システムは、最終的な集約予測のみが公開され、中間段階や個々のデータの漏洩がないことを保証する。
• フレームワークは、さまざまな機械学習モデルやデータセットに一般に適用可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 分散環境において、安全でプライバシー保護された予測の集約をどのように実現できるか？
• RQ2 生データやモデルパラメータを共有せずに、証明可能なプライバシー保証を達成できるか？
• RQ3 分散型微分プライバシーと同型暗号の統合が、予測精度とシステムパフォーマンスに与える影響は何か？
• RQ4 分散予測の場面において、プライバシーと有用性のトレードオフはどのようなものか？
• RQ5 本稿で提案するフレームワークは、ローカル微分プライバシーと非プライベートなベースラインと比べて、精度とプライバシーの面でどのように異なるか？

主な発見

• DPPPフレームワークは、さまざまなデータセットにおいて、非プライベートな学習フレームワークと同等の予測性能を達成する。
• 精度とプライバシーの両面で、ローカル微分プライバシーのフレームワークや単体モデルよりも優れた結果を示す。
• 分散型微分プライバシーと同型暗号の統合により、集約者が最終的なノイズ付き集約予測以外を学習しないことが保証される。
• 分散環境における二項分布機構の厳密な解析を通じて、証明可能なプライバシー保証が提供される。
• 実験的評価により、システムが高水準の有用性を維持しながらも、個人のプライバシーを保護していることが確認された。
• 本手法は一般に適用可能であり、集約者に対する信頼や機密モデルパラメータの共有を必要としない。