[論文レビュー] When Homomorphic Encryption Marries Secret Sharing: Secure Large-Scale Sparse Logistic Regression and Applications in Risk Control

Chaochao Chen, Jun Zhou+8 more|arXiv (Cornell University)|Aug 20, 2020

Cryptography and Data Security参考文献 51被引用数 10

ひとこと要約

本論文は、同型暗号（HE）と秘密分散（SS）を組み合わせた新規ハイブリッドフレームワークCAESARを提案する。このフレームワークは、マルチパーティ環境における大規模なスパースなロジスティック回帰を、安全かつ効率的・スケーラブルに実行可能にする。スパース特徴処理にはHEを、安全な勾配およびモデル更新の集約にはSSを活用することで、最先端の手法と比較して130倍の高速化を達成しながら、証明可能な情報漏洩防止性を維持し、高次元スパースデータの処理にも効果的に対応する。

ABSTRACT

Logistic Regression (LR) is the most widely used machine learning model in industry for its efficiency, robustness, and interpretability. Due to the problem of data isolation and the requirement of high model performance, many applications in industry call for building a secure and efficient LR model for multiple parties. Most existing work uses either Homomorphic Encryption (HE) or Secret Sharing (SS) to build secure LR. HE based methods can deal with high-dimensional sparse features, but they incur potential security risks. SS based methods have provable security, but they have efficiency issue under high-dimensional sparse features. In this paper, we first present CAESAR, which combines HE and SS to build secure large-scale sparse logistic regression model and achieves both efficiency and security. We then present the distributed implementation of CAESAR for scalability requirement. We have deployed CAESAR in a risk control task and conducted comprehensive experiments. Our experimental results show that CAESAR improves the state-of-the-art model by around 130 times.

研究の動機と目的

• 大規模で高次元かつスパースなデータに対するプライバシー保護型ロジスティック回帰における、セキュリティと効率性のトレードオフを解消すること。
• 中央集権的環境における純粋なHE（セキュリティリスク）と、スパース特徴処理における純粋なSS（非効率性）の限界を克服すること。
• データプライバシーを保持しつつ、複数参加者間でスケーラブルかつ高性能なモデル学習を可能にするハイブリッドシステムを設計すること。
• 実世界のリスク制御応用に展開・評価し、実用的妥当性と性能向上を実証すること。

提案手法

• CAESARは、スパース特徴処理に同型暗号（HE）を、勾配およびモデル更新の安全な集約に秘密分散（SS）を統合する。
• 通信オーバーヘッドを最小限に抑えるために、2者アーキテクチャを採用。1人の参加者（アリス）がHEベースの特徴処理を、もう1人の参加者（ボブ）が秘密分散処理を担当する。
• 大規模データセットにスケーリングするため、複数のワーカーに分散アーキテクチャを採用し、マルチパーティ環境における水平スケーラビリティを実現する。
• 安全な乗算処理にベイバーのトリプルプロトコルを採用。バッチ処理と冗長な送信の削減により、通信複雑度を最適化する。
• ハイブリッド計算モデルを採用：スパース特徴処理にはHE、密度の高いモデルパラメータ更新にはSSを適用。効率性とセキュリティのバランスを図る。
• 産業規模の応用に特化した、最適化された暗号プリミティブと通信プロトコルを実装。

実験結果

リサーチクエスチョン

• RQ1 HEとSSを統合したハイブリッドシステムは、大規模なスパースなロジスティック回帰において、証明可能なセキュリティと高い効率性を両立できるか？
• RQ2 HEとSSの統合は、従来の純粋なHEまたはSS手法のスケーラビリティおよびセキュリティ上の制限をどのように緩和するか？
• RQ3 ハイブリッド設計は、スパースモデルのマルチパーティ学習における通信および計算オーバーヘッドをどの程度低減できるか？
• RQ4 本システムは、高次元スパースデータを扱う実世界の産業応用、特にリスク制御分野でどの程度の性能を発揮するか？

主な発見

• CAESARは、特に低帯域幅環境下において、最先端のプライバシー保護型ロジスティック回帰モデルの学習速度を最大130倍に向上させる。
• 平文モデルのみと比較して、Recall@0.9precisionが36.55%向上し、精度を損なわずにリスク検出能力が著しく向上する。
• バッチサイズ4,096の条件下で、SecureMLと比較して130倍の高速化を達成。実際のデータ処理ワークロード下での顕著な性能向上を示す。
• システムは特徴数およびバッチサイズに比例して線形にスケーリングされ、ネットワーク帯域が広がるにつれて実行時間が短縮される。これは、強い水平スケーラビリティを示している。
• バッチ処理とハイブリッド計算により通信複雑度が低減され、高帯域幅環境では計算時間がボトルネックとなる。これは、実世界の制約下でも効率性を確認している。