[論文レビュー] PPCA: Privacy-preserving Principal Component Analysis Using Secure Multiparty Computation(MPC)

Xiaoyu Fan, Guosai Wang+3 more|arXiv (Cornell University)|May 17, 2021

Privacy-Preserving Technologies in Data参考文献 45被引用数 5

ひとこと要約

本論文は、安全な多人数計算（MPC）を用いたプライバシー保護型主成分分析（PPCA）フレームワークを提案する。PPCAは、MPCの性能特性に合わせたアルゴリズム設計最適化により、従来のMPCベースのPCA手法と比較して200倍の性能向上を達成した。MPCに適した技術である演算置換、バッチ処理、および効率的な固有値分解を活用することで、機密データの分布を漏洩させることなく、水平分割および垂直分割されたデータセットに対しても高速かつプライバシー保護型のPCAを実現した。

ABSTRACT

Privacy-preserving data mining has become an important topic. People have built several multi-party-computation (MPC)-based frameworks to provide theoretically guaranteed privacy, the poor performance of real-world algorithms have always been a challenge. Using Principal Component Analysis (PCA) as an example, we show that by considering the unique performance characters of the MPC platform, we can design highly effective algorithm-level optimizations, such as replacing expensive operators and batching up. We achieve about 200$ imes$ performance boost over existing privacy-preserving PCA algorithms with the same level of privacy guarantee. Also, using real-world datasets, we show that by combining multi-party data, we can achieve better training results.

研究の動機と目的

• MPCベースのプライバシー保護型データマイニングにおける重要な性能ボトルネック、特にPCAのような複雑なアルゴリズムに対して解決を図ること。
• MPCの計算特性に適合したアルゴリズムレベルの最適化を設計することで、単純なMPCへの移植による非効率性を克服すること。
• 複数の参加者からのデータ統合によって機密情報が露呈されない状態で、プライバシー保護型PCAが効率的かつ効果的に行えることを実証すること。
• MPC最適化されたPCAを用いることで、複数のデータソースを統合した場合に、下流のモデル性能が向上することを示すこと。
• 演算置換、バッチ処理、およびアルゴリズム再設計を通じて、他のデータマイニングアルゴリズムをMPCプラットフォーム上で最適化する一般化可能な手法を提供すること。

提案手法

• 原始データの完全な暗号化を回避するため、局所的に部分的な結果を計算し、MPCを介して集約するセキュアな共分散行列計算の設計。
• 逆数や平方根といった高コストなMPC演算を、比較や反復近似（例：ニュートン法）といった低コストな代替処理に置き換えることで、遅延を低減。
• 固有値の順序付けに際して、MPCが複数要素を並列処理できる特性を活かし、バッチ処理可能なソートアルゴリズム（batch_sort）を実装。
• QRシフトに比べて並列処理の可能性が高く、反復回数が少ないため、Jacobi固有値分解法を採用。ただし、1反復あたりのコストは高い。
• 1反復あたり2つの逆数演算を1つの比較に置き換える固有値順序付けの削減技術（EO-reduction）を導入し、計算オーバーヘッドを18％削減。
• 暗号化されたデータ上でプライバシーを保持しながら、固有値分解を実行するためのMPC互換の数値的手法を採用し、通信ラウンド数を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムレベルの最適化は、プライバシー保証を損なわせることなく、MPCベースのPCAの性能を顕著に向上させることができるか？
• RQ2 MPC制約下で、異なる固有値分解アルゴリズム（例：Jacobi法 vs. QRシフト）はどのように性能を発揮するか？どちらが安全計算に適しているか？
• RQ3 演算置換とバッチ処理を用いることで、除算やソートといった複雑な演算の計算コストはどの程度低減可能か？
• RQ4 MPCベースのPCAを用いて複数の参加者からのデータを統合すると、個別のデータセットを使用した場合と比較して、下流のモデル性能が向上するか？
• RQ5 共分散行列を通じて、データ分布に関するどの程度の情報が漏洩するか？また、これを安全計算によって緩和できるか？

主な発見

• 提案されたPPCAフレームワークは、同等のプライバシー保証を維持しながら、既存のMPCベースのPCAアルゴリズムと比較して200倍の性能向上を達成した。
• Jacobi法は、並列処理の可能性が高く、逐次的依存関係が少ないため、MPC環境下でQRシフトを上回る性能を発揮し、反復回数を減らしてより効果的なバッチ処理が可能となった。
• EO-reductionにより、1反復あたり2つの逆数演算を1つの比較に置き換えることで、固有値分解における18％の性能向上が達成された。
• バッチソート（batch_sort）は、固有値の順序付けにおいて顕著な性能向上をもたらし、MPC環境における遅延を低減した。
• 水平分割されたIoTデータを用いた実験では、9台のデバイスからのデータ統合によりF1スコアが0.71から1.0に向上し、複数参加者間のデータ統合の利点を示した。
• 垂直分割されたMOOCデータを用いた実験では、10コース分の特徴量を統合したことでF1スコアが0.73から0.77に上昇し、データ統合によるモデル一般化性能の向上を示した。