[論文レビュー] Privacy-Preserving Collaborative Prediction using Random Forests

Irene Giacomelli, Somesh Jha+3 more|PubMed|Nov 21, 2018

Privacy-Preserving Technologies in Data参考文献 28被引用数 9

ひとこと要約

本稿では、複数のデータ提供者が自身のデータ上で局所的なモデルを独立して学習し、クラウド上で暗号化されたモデルを用いて予測を安全に統合できる、プライバシー保護型の協働予測フレームワークを提案する。この手法は、訓練段階での暗号化処理を回避し、高い効率性を実現するとともに、秘密分散と無知な評価を用いて強力なプライバシー保証を達成する。実世界の電子歴史データ（EHR）を用いた実験により、競争力のある精度が得られた。

ABSTRACT

We study the problem of privacy-preserving machine learning (PPML) for ensemble methods, focusing our effort on random forests. In collaborative analysis, PPML attempts to solve the conflict between the need for data sharing and privacy. This is especially important in privacy sensitive applications such as learning predictive models for clinical decision support from EHR data from different clinics, where each clinic has a responsibility for its patients' privacy. We propose a new approach for ensemble methods: each entity learns a model, from its own data, and then when a client asks the prediction for a new private instance, the answers from all the locally trained models are used to compute the prediction in such a way that no extra information is revealed. We implement this approach for random forests and we demonstrate its high efficiency and potential accuracy benefit via experiments on real-world datasets, including actual EHR data.

研究の動機と目的

• 医療分野や類似分野における、モデル精度の向上のためのデータ共有と厳格なプライバシー要件の間にある矛盾を解決すること。
• モデル学習段階でのセキュアマルチパーティ計算の必要性を排除し、学習を局所的なスロットに移行すること。
• 独立して学習された局所的ランダムフォレストからの予測を安全に、効率的かつスケーラブルに統合するシステムを設計すること。
• 予測段階でのプライバシーを確保するため、モデルや入力データの漏洩を防ぐ暗号技術を用いること。
• 電子歴史記録（EHR）を含む実世界のデータセットを用いて、本手法の実用的妥当性と性能を評価すること。

提案手法

• 各データ提供者は、自身のデータ上で局所的なランダムフォレストモデルを学習し、生データを共有しない。
• 学習済みのモデルは暗号化され、信頼できないクラウドサーバーにアップロードされ、暗号化された形で保存される。
• 新しい機微な入力に対して、ユーザーは暗号化されたクエリをサーバーに送信し、秘密分散と無知な多項式評価を用いて安全にアンサンブル予測を計算する。
• 統合関数は、あらかじめ定義された集約戦略を用いて、すべての局所的モデルからの予測を統合し、入力およびモデルの両方のプライバシーを保持する。
• プロトコルは、ヤオのゲート化回路と無知なトランスファーを用いて安全な二当事者計算を実現し、誠実だが好奇な敵モデル下でのセキュリティを保証する。
• 本システムは水平方向のデータ分割をサポートし、オフラインの提供者とオンラインのサーバーによる予測を想定したクラウドデプロイメントに最適化されている。

実験結果

リサーチクエスチョン

• RQ1 生の訓練データを共有せずに、ランダムフォレストを用いて安全な協働予測を実現できるか？
• RQ2 局所的に学習し、暗号化されたモデルを統合するアプローチは、従来のプライバシー保護型訓練手法に比べ、効率性とスケーラビリティにおいて優れているか？
• RQ3 本手法の精度は、統合データ上で学習された集中型モデルと比較してどうなるか？
• RQ4 モデルハイパーパrameterや特徴量の数が、システムのパフォーマンスおよび通信オーバーヘッドに与える影響は何か？
• RQ5 本手法は、特に改ざんされたサーバーを含む悪意ある攻撃者に対しても拡張可能か？

主な発見

• 提案手法は、電子歴史記録（EHR）を含む実世界のデータセットにおいて、競争力ある予測精度を達成しており、データセットの特性や分布に応じて性能が変動する。
• 本システムは高い効率性を示し、従来のプライバシー保護型訓練プロトコルと比較して、通信コストおよび計算コストが顕著に低い。
• パフォーマンスは特徴量の数やフォレストのハイパーパrameterに影響を受けるが、これらを最適化することで効率性を向上させられる。
• モデル学習を分散化することで、訓練段階の暗号化オーバーヘッドを回避し、より高速かつスケーラブルなデプロイメントを実現している。
• 誠実だが好奇な敵モデル下で本システムはセキュアであり、予測段階においてモデルパラメータや入力データの漏洩が発生しない。
• 本手法は微分プライバシーとは直交しており、攻撃者が事前知識を持つ可能性があるという脅威モデルにおいて、より強い保証を提供する。