[論文レビュー] Helen: Maliciously Secure Coopetitive Learning for Linear Models

Wenting Zheng, Raluca Ada Popa+2 more|arXiv (Cornell University)|Jul 16, 2019

Privacy-Preserving Technologies in Data参考文献 68被引用数 12

ひとこと要約

Helenは、プライベートデータを露呈せずに複数の機関が共同で線形モデル（リッジ回帰やLASSOを含む）をトレーニングできる、悪意のある攻撃者に対しても安全な協調的学習のためのシステムである。ADMMと最適化された暗号技術を組み合わせることで、最新のMPCフレームワークを用いたベースラインと比較して、最大5桁の速度向上を達成し、4者による10万件のサンプルを含むデータセットのトレーニング時間を、月単位から3時間未塔に短縮した。

ABSTRACT

Many organizations wish to collaboratively train machine learning models on their combined datasets for a common benefit (e.g., better medical research, or fraud detection). However, they often cannot share their plaintext datasets due to privacy concerns and/or business competition. In this paper, we design and build Helen, a system that allows multiple parties to train a linear model without revealing their data, a setting we call coopetitive learning. Compared to prior secure training systems, Helen protects against a much stronger adversary who is malicious and can compromise m-1 out of m parties. Our evaluation shows that Helen can achieve up to five orders of magnitude of performance improvement when compared to training using an existing state-of-the-art secure multi-party computation framework.

研究の動機と目的

• プライベートデータを共有できないが協力的学習を希望する機関同士が、どのようにして共同で機械学習を実施できるかという課題に取り組むこと。
• m人中m−1人の参加者が改ざん可能であるという悪意のある攻撃者に対する強固なセキュリティ保証を提供するシステムを設計すること。
• 正則化線形モデルのトレーニングにおいて、すべての参加者が最終的なモデルから利益を得る協調的環境で実用的な性能を達成すること。
• 一般化MPCフレームワークの非効率性を克服し、暗号計算をデータサイズに依存しない形に最適化してスケーラビリティを確保すること。

提案手法

• Helenは、反復処理における各サンプルごとの暗号操作からトレーニングプロセスを分離するため、交替方向乗数法（ADMM）を用いる。これにより、安全な計算が効率的に行える。
• 最適化プロセスを見直し、高コストな暗号操作が訓練サンプル数ではなく、モデルパラメータと特徴量に依存するように再定式化する。
• 線形モデルトレーニングに特化したカスタムで効率的なMPCプロトコルを採用し、通信量と計算コストを最小限に抑える。
• m−1人までの参加者が悪意を持って振る舞う状況下でも、計算の正しさと機密性を保証するため、安全なマルチパーティ計算プリミティブを統合する。
• 一般線形モデル（通常最小二乗法、リッジ回帰、LASSO）をサポートし、科学的・金融的応用分野で広く用いられる。
• 暗号処理のラウンド数とデータ転送回数を削減する性能最適化を実装し、エンドツーエンドのトレーニング速度を著しく向上させる。

実験結果

リサーチクエスチョン

• RQ1 強力な悪意のある攻撃者に対する脅威モデル下でも、線形モデルのセキュアなトレーニングが実用的な性能を達成できるか？
• RQ2 暗号計算をデータサイズに依存させない形に分離することで、セキュアな機械学習における効率性をどのように向上できるか？
• RQ3 どのようなアーキテクチャ的およびアルゴリズム的最適化が、一般MPCベースのトレーニングと比較して10万倍の性能向上を実現できるか？
• RQ4 ADMMは、強力な機密性と正しさの保証を伴うセキュアな協調的トレーニングに効果的に適応可能か？

主な発見

• 4者、10万件のサンプル、90の特徴量を持つ線形回帰のトレーニング時間を、一般MPCベースラインを用いた推定3か月から3時間未塔に短縮した。
• 最新の悪意のあるMPCフレームワーク（SPDZ）と比較して、最大5桁の性能向上を達成した。
• ADMMを用いたトレーニングの再定式化により、高コストな暗号操作が各サンプルごとの反復からパラメータ依存の計算に移行され、データサイズに比例する線形スケーラビリティが実現された。
• リッジ回帰やLASSOといった広く使われている正則化線形モデルをサポートしており、医療や金融分野の実世界のユースケースに適用可能である。
• 強力なセキュリティ保証を提供する：m−1人の参加者が完全に悪意を持っていても、誠実な参加者のデータは機密性を保たれ、計算は正しく行われる。