[論文レビュー] Practical Privacy-Preserving Gaussian Process Regression via Secret Sharing

Jinglong Luo, Yehong Zhang+5 more|arXiv (Cornell University)|Jun 26, 2023

Privacy-Preserving Technologies in DataComputer Science被引用数 3

ひとこと要約

本稿は、水平および垂直データ共有シナリオの両方をサポートする、初めての秘密分散（SS）ベースのプライバシー保護型ガウス過程回帰（PP-GPR）フレームワークを提案する。『混乱補正』とコレスキー分解を用いた新しいSSベースのべき乗および行列逆行列化プロトコルを導入することで、理論的セキュリティ保証と実用的な性能を兼ね備えた、安全で正確かつ効率的なGPRを実現した。

ABSTRACT

Gaussian process regression (GPR) is a non-parametric model that has been used in many real-world applications that involve sensitive personal data (e.g., healthcare, finance, etc.) from multiple data owners. To fully and securely exploit the value of different data sources, this paper proposes a privacy-preserving GPR method based on secret sharing (SS), a secure multi-party computation (SMPC) technique. In contrast to existing studies that protect the data privacy of GPR via homomorphic encryption, differential privacy, or federated learning, our proposed method is more practical and can be used to preserve the data privacy of both the model inputs and outputs for various data-sharing scenarios (e.g., horizontally/vertically-partitioned data). However, it is non-trivial to directly apply SS on the conventional GPR algorithm, as it includes some operations whose accuracy and/or efficiency have not been well-enhanced in the current SMPC protocol. To address this issue, we derive a new SS-based exponentiation operation through the idea of 'confusion-correction' and construct an SS-based matrix inversion algorithm based on Cholesky decomposition. More importantly, we theoretically analyze the communication cost and the security of the proposed SS-based operations. Empirical results show that our proposed method can achieve reasonable accuracy and efficiency under the premise of preserving data privacy.

研究の動機と目的

• 複数のデータ共有シナリオ（水平、垂直、予測）に対応できる統一的かつ実用的なプライバシー保護型GPRソリューションの欠如に応えること。
• 同型暗号、フェデレーテッドラーニング、または微分散プライバシーに基づく既存のPP-GPR手法に起因する制限を克服すること。これらの手法は、いずれも非効率、特定のシナリオに限定、または強いセキュリティ保証を欠いている。
• 現在のSMPCフレームワークで十分にサポートされていない、GPRの2つの重要な演算である行列逆行列化とべき乗の、効率的かつ正確な秘密分散ベースのプロトコルを設計すること。
• 予測において信頼できないクライアントを含む、3つのすべてのデータ共有シナリオにおいて、モデル入力および出力のエンドツーエンドのプライバシー保護を確保すること。

提案手法

• 安全なマルチパーティ計算（SMPC）における精度と効率を向上させるために、『混乱補正』戦略を用いた新しいSSベースのべき乗プロトコルを提案する。
• コレスキー分解に基づくSSベースの行列逆行列化アルゴリズムを開発し、GPRにおける共分散行列の逆行列計算を安全かつ効率的に行えるようにする。
• 既存のSMPCプリミティブ（例：安全な加算、乗算）と新規演算を統合することで、モデル学習および推論の両方をカバーする完全なプライバシー保護型GPRパイプラインを構築する。
• SMPCのための二サーバーモデルを採用し、情報理論的セキュリティを確保するとともに、秘密分散による漏洩を最小限に抑える。
• 理論的分析により、標準的な仮定の下で提案プロトコルのセキュリティを確認し、通信および計算の複雑さの上限を導出する。
• オンラインフェーズの通信および計算を削減するための事前処理技術を採用し、実用性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 秘密分散は、複数のデータ共有シナリオにおいて、入力および出力データの両方のプライバシーを保護するガウス過程回帰に効果的に適用可能か？
• RQ2 SMPCにおける秘密分散を用いて、GPRの2つのコア演算（行列逆行列化とべき乗）を、効率的かつ正確に実装する方法は何か？
• RQ3 提案されたPP-GPRフレームワークの通信および計算コストはどの程度で、中規模のデータセットにおいて実用的な効率性を達成できるか？
• RQ4 FHE、FL、DPベースのGPRと比較して、提案手法は精度およびプライバシー保証において優れているか？

主な発見

• 提案されたPP-GPRフレームワークは、水平、垂直、予測共有の3つのすべてのデータ共有シナリオをサポートし、エンドツーエンドのプライバシー保護を実現する。
• SSベースのべき乗プロトコルは、近似手法（例：ニュートン・ラプソン法）よりも高い精度を達成し、先行研究の25％の失敗率に比べて誤差確率を低減する。
• コレスキー分解に基づく行列逆行列化プロトコルは、数値的安定性と効率性を確保し、安全なGPR計算を可能にする。
• 実験的評価により、中規模のサンプルサイズのデータセットにおいて、非プライベートGPRと同等の妥当な精度と受け入れ可能な効率性を達成していることが示された。
• 理論的分析により、標準的な仮定の下でプロトコルのセキュリティが確認され、通信および計算コストが上限内に制限されている。
• 特に、異なるデータパーティションを持つ複数のデータ所有者を含むシナリオにおいて、セキュリティ保証および汎用性の面で、既存の手法を上回っている。