[論文レビュー] PrivLogit: Efficient Privacy-preserving Logistic Regression by Tailoring Numerical Optimizers

Wei Xie, Yang Wang+2 more|arXiv (Cornell University)|Nov 3, 2016

Privacy-Preserving Technologies in Data参考文献 21被引用数 23

ひとこと要約

この論文では、暗号的設定に特化した数値最適化を用いることで、安全計算を高速化するプライバシー保護型ロジスティック回帰フレームワークであるPrivLogitを提案する。標準的なニュートン法に代えてヘッセ行列計算のオーバーヘッドを低減する独自の最適化手法を採用することで、分散かつ水平にパーティション分けされたデータ環境において、精度とプライバシーを保持したまま、最先端のプロトコル比で最大8.1倍の高速化を達成した。

ABSTRACT

Safeguarding privacy in machine learning is highly desirable, especially in collaborative studies across many organizations. Privacy-preserving distributed machine learning (based on cryptography) is popular to solve the problem. However, existing cryptographic protocols still incur excess computational overhead. Here, we make a novel observation that this is partially due to naive adoption of mainstream numerical optimization (e.g., Newton method) and failing to tailor for secure computing. This work presents a contrasting perspective: customizing numerical optimization specifically for secure settings. We propose a seemingly less-favorable optimization method that can in fact significantly accelerate privacy-preserving logistic regression. Leveraging this new method, we propose two new secure protocols for conducting logistic regression in a privacy-preserving and distributed manner. Extensive theoretical and empirical evaluations prove the competitive performance of our two secure proposals while without compromising accuracy or privacy: with speedup up to 2.3x and 8.1x, respectively, over state-of-the-art; and even faster as data scales up. Such drastic speedup is on top of and in addition to performance improvements from existing (and future) state-of-the-art cryptography. Our work provides a new way towards efficient and practical privacy-preserving logistic regression for large-scale studies which are common for modern science.

研究の動機と目的

• 既存のプライバシー保護型分散機械学習プロトコルにおける高い計算オーバーヘッド、特にロジスティック回帰に対して解決すべき問題を提示する。
• 主流の数値最適化手法（例：ニュートン法）を安全な環境にそのまま適用すると、性能が最適でないことが同定される。
• プライバシー保護型マルチパーティ計算に特化した新しい最適化戦略を開発し、プライバシーや正確性を損なわず、計算のボトル neck を軽減する。
• 新しい最適化手法に基づき、実用的な大規模共同研究に適した2つの効率的な安全プロトコル—PrivLogit-Hessian および PrivLogit-Local —を設計する。
• 最適化手法のカスタマイズによる性能向上が、暗号技術自体の進歩に起因する改善と直交的であり、加法的であることを示す。

提案手法

• 安全な設定に適した最適化プロセスの再定式化により、高価なヘッセ行列計算を回避する新しい数値最適化手法、PrivLogitを提案する。
• 各イテレーションで1つのコンactな暗号化されたヘッセ要約のみを計算・交換するPrivLogit-Hessianを設計し、通信量と計算量を最小限に抑える。
• 各機関で局所的なヘッセ行列近似を実行する変種であるPrivLogit-Localを導入し、グローバルな調整を軽減し、収束を高速化する。
• 局所計算はプライバシーに依存しない（データサイズnに依存しない）ため、合計コストはnではなくp³（特徴量の数）に比例する。
• すべての中間データおよび要約データを保護するため、標準的な暗号的プリミティブを用いた安全なマルチパーティ計算（MPC）を活用し、エンド・ツー・エンドのプライバシーを確保する。
• 新しい最適化手法が、暗号的制約下でも標準的なニュートン法と同等の収束性と正確性を維持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 暗号技術の進歩にもかかわらず、既存のプライバシー保護型ロジスティック回帰プロトコルがなぜ依然として非効率なのか？
• RQ2 具体的には、標準的なニュートン法を置き換えることで、数値最適化アルゴリズムの見直しが安全計算における顕著な性能向上をもたらすのか？
• RQ3 プライバシー保護型設定において、近似ヘッセ行列や局所最適化を使用する際の計算コストと通信コストのトレードオフは何か？
• RQ4 暗号的制約下で、提案されたPrivLogit最適化手法は、標準的なニュートンベースの手法と比較して収束速度と正確性の点でどのように異なるのか？
• RQ5 最適化手法のカスタマイズによる性能向上は、下位層の暗号技術の進歩と独立して達成でき、それらの向上と加法的に作用するのか、その程度はいかほどか？

主な発見

• 提案されたPrivLogit最適化手法は、異なる設定で、最先端のプロトコル比で最大2.3倍および8.1倍の高速化を達成し、データ規模が大きくなるほどその恩恵が増大する。
• 大規模な設定では、通信量の削減とより効率的な局所計算のおかげで、PrivLogit-LocalがPrivLogit-Hessianを上回る性能を示す。
• 新しい最適化手法は、暗号的制約下でも高い正確性と収束安定性を維持し、標準的なニュートン法と同等の性能を発揮する。
• 新しい手法の計算コストは、n（サンプル数）に依存せず、p³（特徴量の数）に比例するため、大規模データセットに対して非常に効率的である。
• 性能向上は暗号技術の進歩とは直交的であり、将来的な安全計算プロトコルの進歩とも加法的に作用する。
• このアプローチはロジスティック回帰に限らず、プライバシーに配慮する分野における他の機械学習モデル、例えば分類器、回帰器、深層学習などへの一般化が可能である。