[論文レビュー] Secure multiparty computations in floating-point arithmetic

Chuan Guo, Awni Hannun+4 more|arXiv (Cornell University)|Jan 9, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用数 11

ひとこと要約

本論文は、標準的なIEEE倍精度浮動小数点演算を用いたプライバシー保護型機械学習のための安全なマルチパーティ計算フレームワークを提案する。情報漏洩を厳密に制限することで、1入力あたり100万分の1ビット未塔の漏洩に抑え、数値的安定性とコンmodity CPUおよびGPUにおける高い性能を両立させながら、完全なプライバシーを実現する。

ABSTRACT

Secure multiparty computations enable the distribution of so-called shares of sensitive data to multiple parties such that the multiple parties can effectively process the data while being unable to glean much information about the data (at least not without collusion among all parties to put back together all the shares). Thus, the parties may conspire to send all their processed results to a trusted third party (perhaps the data provider) at the conclusion of the computations, with only the trusted third party being able to view the final results. Secure multiparty computations for privacy-preserving machine-learning turn out to be possible using solely standard floating-point arithmetic, at least with a carefully controlled leakage of information less than the loss of accuracy due to roundoff, all backed by rigorous mathematical proofs of worst-case bounds on information loss and numerical stability in finite-precision arithmetic. Numerical examples illustrate the high performance attained on commodity off-the-shelf hardware for generalized linear models, including ordinary linear least-squares regression, binary and multinomial logistic regression, probit regression, and Poisson regression.

研究の動機と目的

• パスワードのような従来のセキュリティ対策では不十分な、機微なデータを扱う応用分野におけるプライバシー保護型機械学習のニーズに対応する。
• 整数ベースの暗号手法の限界を克服し、標準的な浮動小数点演算を用いて効率的かつ高精度な計算を可能にする。
• 有限精度演算における情報漏洩と数値的安定性の厳密な数学的境界を、安全なマルチパーティ計算の文脈で提示する。
• 特別な最適化を施さずに、コンmodityハードウェア上で一般化線形モデルの安全なマルチパーティ計算の実用的導入を可能にする。
• 参加者が正直だが好奇心をもつという脅威モデル下でも、中間計算がプライベートなままであることを保証する。

提案手法

• 複数の参加者間でデータのシェアを加法的秘密分散により分配し、1人の参加者でも元のデータを再構築できないようにする。
• ベイバーの乗算プロトコルを用いて、秘密分散された値の文脈での安全な乗算を実現する。
• 一般化線形モデルに必要な非線形関数（例：ロジット、ソフトマックス、指数関数）を、制御された誤差で実装するための多項式近似を適用する。
• 厳密な数学的解析により情報漏洩を制限し、漏洩量が倍精度演算における固有の丸め誤差未満であることを示す。
• 最小バッチ化された確率的勾配降下法を用いてモデル学習を実行し、基本的な演算（加算、行列-ベクトル乗算、関数評価）のみに依存する。
• リンク関数の逆関数（例：ロジスティック、プロビット、指数関数）を用いて、安全な計算パイプライン内で勾配を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 標準的な浮動小数点演算を用いて、数値的精度を損なわせることなく、機械学習のための安全なマルチパーティ計算を効率的に実装できるか？
• RQ2 有限精度演算における安全な計算中に、最大でどの程度の情報が漏洩するか。また、その漏洩量を厳密に境界づけられるか？
• RQ3 一般化線形モデルに必要な非線形関数を、最小限の誤差で浮動小数点環境で安全に近似できるか？
• RQ4 提案手法は、CPUやGPUといったコンmodityハードウェア上で、高いパフォーマンスと強力なプライバシー保証を両立できるか？
• RQ5 情報漏洩量は、倍精度浮動小数点演算における固有の丸め誤差と比べてどの程度のものか？

主な発見

• 1入力実数あたりの情報漏洩は10⁻⁶ビット未塔に抑えられ、これは倍精度演算における典型的な丸め誤差（約10⁻⁵）未満である。
• 精度約10⁻⁵において完全なプライバシーが達成され、漏洩量は数値誤差に比べて無視できるほど小さい。
• メガピクセル画像の場合、合計での情報漏洩は最大で1ビットに抑えられる。これは微細な詳細を区別するには不十分であり、明るさの程度しか特定できない。
• 本手法は、線形最小二乗法、ロジスティック回帰、プロビット回帰、ポisson回帰を含む広範な一般化線形モデルをサポートする。
• 実装はコンmodity CPUおよびGPUで高いパフォーマンスを発揮し、専用ハードウェアや複雑な最適化を必要としない。
• フレームワークは標準的な機械学習パイプラインと互換性があり、最小バッチ化された確率的勾配降下法と、多項式近似による非線形リンク関数の安全な評価を用いる。