[論文レビュー] Encrypted accelerated least squares regression

Pedro M. Esperança, Louis J. M. Aslett+1 more|arXiv (Cornell University)|Mar 2, 2017

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、完全準同型暗号（FHE）を用いた暗号化されたデータ上でプライバシー保護型統計モデリングを可能にする、暗号化された高速最小二乗回帰を提案する。FHEの制約下で標準的手法を上回る性能を発揮する勾配降下法の新規高速化技術を導入し、正当なパrameterバウンドを保証する形で正しく復号可能であり、モード安定性や前立腺がんデータなどの実世界データセットにおいて実用的な実行時間とメモリ効率を示している。

ABSTRACT

Information that is stored in an encrypted format is, by definition, usually not amenable to statistical analysis or machine learning methods. In this paper we present detailed analysis of coordinate and accelerated gradient descent algorithms which are capable of fitting least squares and penalised ridge regression models, using data encrypted under a fully homomorphic encryption scheme. Gradient descent is shown to dominate in terms of encrypted computational speed, and theoretical results are proven to give parameter bounds which ensure correctness of decryption. The characteristics of encrypted computation are empirically shown to favour a non-standard acceleration technique. This demonstrates the possibility of approximating conventional statistical regression methods using encrypted data without compromising privacy.

研究の動機と目的

• 完全準同型暗号（FHE）下で暗号化されたデータ上で復号なしに統計的回帰を可能にすること。
• FHEの計算制約下における標準的最適化手法の性能制限を解決すること。
• 準同型計算に特化した新たな高速化技術の開発と検証すること。
• FHEにおける回帰係数の正しく復号可能であることを保証する理論的バウンドを提供すること。
• 実世界のバイオメディカルデータセットにおいて、実用的な実行時間とメモリ使用量を伴う実現可能性を示すこと。

提案手法

• 完全準同型暗号（FHE）の文脈で、特にFan-Vercauteren FHE方式を用いて、座標降下法および勾配降下法アルゴリズムを適合させる。
• FHEの高い計算コストと限られた演算能力を考慮し、非標準的な高速化技術「可変重み軌道（VWT）」を導入する。
• 数値安定性を維持し、回帰係数の正しく復号可能であることを保証するために、暗号化されたスケーリングを採用する。
• X^T X の固有値ノルムに基づくステップサイズ δ を導出し、機密データを露呈しないようにパワー法による近似を用いる。
• 収束性と一般化性能の向上を目的として正則化（リッジペナルティ α）を適用し、α は安全なマルチパーティ計算または微分プライバシーを用いて選択する。
• ノイズ成長を管理し、計算限界内での乗算深さを維持するために、FHEにおけるブートストラップに類似した操作を適用する。

実験結果

リサーチクエスチョン

• RQ1 FHEを用いて完全に暗号化されたデータ上で、標準的最小二乗回帰およびリッジ回帰を正確かつ効率的に計算できるか？
• RQ2 FHEの計算制約下において、従来の最適化高速化手法はどのように性能を発揮するか？
• RQ3 FHEベースの回帰において最適な新規高速化手法は何か？ そして、標準的手法と比較してどのように異なるか？
• RQ4 FHEにおける回帰係数の正しく復号可能であることを保証する、アルゴリズムパrameterの理論的バウンドは何か？
• RQ5 実世界のデータセットにおける暗号化回帰の実用的実行時間とメモリコストはどの程度か？

主な発見

• FHE下での暗号化勾配降下法（ELS-GD）は、標準的手法を上回る計算速度を達成し、モード安定性データ（P=2, N=28）では12秒で収束した。
• 可変重み軌道（VWT）高速化技術は、FHE環境下で標準的なモーメンタムベース手法と比較して、収束速度を顕著に向上させた。
• 前立腺がんデータセット（N=97, P=8）において、ELS-GDにVWTを適用した場合、4イテレーション目で標準的RLS結果の1%以内の予測を達成し、α=30であった。
• 乗算深さを固定した場合、実行時間はサンプルサイズ N と予測子数 P に対して概ね線形にスケーリングされ、メモリ使用量も同様に増加した。
• パrameterの理論的バウンドを保証することで、正当な復号が達成され、準同型計算の制約下でも統計的妥当性が保証された。
• 実験的結果から、従来の高速化手法はFHE下では非効率であることが判明し、準同型計算に特化した新たなアルゴリズム設計の必要性が示された。