[論文レビュー] Secret Sharing based Secure Regressions with Applications

Chaochao Chen, Liang Li+7 more|arXiv (Cornell University)|Apr 10, 2020

Cryptography and Data Security参考文献 27被引用数 4

ひとこと要約

本稿では、線形回帰およびロジスティック回帰のための秘密分散に基づく安全なマルチパーティ型回帰プロトコルを提案し、データ保有者間でのプライバシー保護型協働を可能にする。モデル学習を安全な行列和算および二当事者間乗算に還元することで、線形にスケーリングする通信および計算コストを伴いながら、平文モデルと同一の精度を達成する。大規模データセットにおけるスケーラビリティと、金融リスク管理分野における実世界での導入を示している。

ABSTRACT

Nowadays, the utilization of the ever expanding amount of data has made a huge impact on web technologies while also causing various types of security concerns. On one hand, potential gains are highly anticipated if different organizations could somehow collaboratively share their data for technological improvements. On the other hand, data security concerns may arise for both data holders and data providers due to commercial or sociological concerns. To make a balance between technical improvements and security limitations, we implement secure and scalable protocols for multiple data holders to train linear regression and logistic regression models. We build our protocols based on the secret sharing scheme, which is scalable and efficient in applications. Moreover, our proposed paradigm can be generalized to any secure multiparty training scenarios where only matrix summation and matrix multiplications are used. We demonstrate our approach by experiments which shows the scalability and efficiency of our proposed protocols, and finally present its real-world applications.

研究の動機と目的

• 複数のデータ保有者間での協働的機械学習を可能にしつつ、データプライバシーを保護する課題に対処すること。
• 生データを露呈せずに、線形およびロジスティック回帰モデルを効率的かつスケーラブルに学習するためのプロトコルを開発すること。
• 複数当事者に一般化しにくい、従来の安全なマルチパーティ計算手法の限界を克服すること。
• リスクコントロールやインテリジェントローンなど、実世界の応用における安全な回帰の実用的導入を可能にすること。
• 安全な学習が、平文学習と同一のモデルパフォーマンスを達成しつつ、線形に増加するオーバーヘッドで実現できることを示すこと。

提案手法

• 秘密分散を用いて、マルチパーティ型回帰学習を安全なマルチパーティ型行列和算および安全な二当事者間行列乗算に還元する。
• 秘密分散を用いて、計算中におけるデータ入力、モデルパラメータ、ラベルを保護し、いかなる当事者も機微な情報を学習しないようにする。
• 安全な二当事者間行列乗算をブラックボックスプロトコルとして扱い、和算および乗算に依存する任意の学習プロセスへの一般化を可能にする。
• シグモイド関数のような非線形関数を処理するため、多項式近似（3次）を用い、秘密分散と互換性のある演算に変換する。
• 信頼できるイニシャライザを備えたバージョンと、そうでないバージョンの2つのバリアントを実装し、異なる導入シナリオに対応する。
• プライバシー制約下でのモデル最適化のため、適応的学習率探索を伴うミニバッチ勾配降下法を適用する。

実験結果

リサーチクエスチョン

• RQ1 最小限の計算および通信オーバーヘッドで、データプライバシーを保ちながら安全なマルチパーティ型回帰を達成できるか？
• RQ2 秘密分散に基づく回帰のパフォーマンスは、平文回帰と比較して、精度および効率の面でどの程度か？
• RQ3 提案されたプロトコルは、水平分割および垂直分割の両方のデータ設定において、データサイズの増加に伴い線形にスケーリング可能か？
• RQ4 信頼できるイニシャライザの使用が、安全な回帰における通信および計算コストに与える影響は何か？
• RQ5 線形回帰およびロジスティック回帰を超えて、行列演算に依存する他の機械学習モデルへ一般化可能か？

主な発見

• 提案された安全な線形およびロジスティック回帰プロトコルは、すべてのベンチマークデータセットにおいて、平文モデルと同一のパフォーマンス（RMSEおよびAUC）を達成した。
• 安全なモデルの実行時間は、データサイズに比例して線形に増加しており、大規模データセットにおける本手法のスケーラビリティを確認した。
• Newsデータセットでは、Sec-LiRe-OTI-Hは平文線形回帰の32.41秒に対し78.52秒を要し、2.4倍の増加であったが、プライバシー保証を考慮すれば妥当な水準であった。
• APSデータセットにおけるロジスティック回帰では、Sec-LoRe-OTI-Hは平文LoReの9.06倍（1,374.45秒）の時間がかかったが、これは多項式近似のための追加ラウンドに起因する。
• 信頼できるイニシャライザ（TI）を用いたプロトコルは、垂直分割において特徴量共有を回避することで通信コストを削減し、効率性を向上させた。
• 本手法は、CDFinanceおよびアントファイナンスにおけるオンラインリスクコントロールおよび自動ローン分野で実世界での導入に成功している。