[論文レビュー] Secure Sum Outperforms Homomorphic Encryption in (Current) Collaborative Deep Learning

Derian Boer, Stefan Krämer|arXiv (Cornell University)|Jun 2, 2020

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、水平に分割されたデータにおける協調的ディープラーニングのための同型暗号（HE）の代替手段として、秘密分散に基づく安全な合計プロトコルを提案する。実験により、4スレッドで運用した場合、HEを用いた場合の2.5時間から6〜35分にまで訓練時間を短縮でき、産業および医療分野における強い共謀耐性とプライバシー保護を維持していることが示された。

ABSTRACT

Deep learning (DL) approaches are achieving extraordinary results in a wide range of domains, but often require a massive collection of private data. Hence, methods for training neural networks on the joint data of different data owners, that keep each party's input confidential, are called for. We address a specific setting in federated learning, namely that of deep learning from horizontally distributed data with a limited number of parties, where their vulnerable intermediate results have to be processed in a privacy-preserving manner. This setting can be found in medical and healthcare as well as industrial applications. The predominant scheme for this is based on homomorphic encryption (HE), and it is widely considered to be without alternative. In contrast to this, we demonstrate that a carefully chosen, less complex and computationally less expensive secure sum protocol in conjunction with default secure channels exhibits superior properties in terms of both collusion-resistance and runtime. Finally, we discuss several open research questions in the context of collaborative DL, especially regarding privacy risks caused by joint intermediate results.

研究の動機と目的

• 医療や産業分野のB2Bアプリケーションなど、少数で共謀しない当事者間におけるプライバシー保護型協調的ディープラーニングを対象とする。
• 水平に分割されたデータを対象とするフェデレーテッドラーニングにおいて、同型暗号（HE）の高い計算コストとスケーラビリティの限界を克服すること。
• ディープラーニングにおける勾配集約の代替手段として、安全な合計プロトコルのセキュリティと効率性を検証すること。
• 訓練の反復処理中に中間モデルパラメータを繰り返し共有することによるプライバシー漏洩のリスクを調査すること。
• 2名以上の参加者に対して、垂直または任意の分割方法でデータを扱う安全な集約手法の実現可能性を検討すること。

提案手法

• 複数の参加者間で個々の貢献を露呈せずに勾配を集約するために、秘密分散に基づく安全な合計プロトコルを採用する。
• TLSなどのペアワイズセキュアチャネルを用いて参加者間の通信を確立し、信頼できる第三者に依存しない。
• 中央管理者や再暗号化を必要とせず、共謀に強いプロトコルを実装する。これは、一部のHEベースの手法とは対照的である。
• 同一の訓練ワークロード下で、HEベースの集約と提案された安全な合計プロトコルの性能とセキュリティを比較する。
• 標準的なディープニューラルネットワーク（DNN）に確率的勾配降下法（SGD）を適用し、各集約ステップで安全な合計プロトコルを実装する。
• 参加者数（n ∈ {3,4,...,20}）を変化させた際の実行時間と通信オーバーヘッドを測定し、スケーラビリティと効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 水平に分割されたデータにおける協調的ディープラーニングにおいて、安全な合計プロトコルは、実行時間と計算効率の面で同型暗号（HE）を上回ることができるか？
• RQ2 提案された安全な合計プロトコルは、HEベースの手法と比較して、どの程度共謀攻撃に対して耐性を示すか？
• RQ3 訓練の反復処理中に中間モデルパラメータを繰り返し共有することで、個々のデータ入力を再構築するリスクはどの程度か？
• RQ4 集約された勾配からプライベートデータを逆算するための非線形方程式系を解くことは、標準的なソルバー（例：SciPy や SageMath）では計算的に不可能であるか？
• RQ5 実世界の協調的ディープラーニングワークロードに適用した場合、安全な合計とHEの性能およびセキュリティ特性は、どのように比較されるか？

主な発見

• 安全な合計プロトコルにより、HEを用いた20スレッドでの2.5時間の訓練時間が、4スレッドで6〜35分にまで短縮された。これは顕著な性能向上を示している。
• 安全な合計プロトコルは、信頼できる第三者や複雑な鍵管理を必要とせず、完全な共謀耐性を達成した。これは、多くのHEベースの手法とは対照的である。
• 実行時間はレイテンシに非常に敏感であったが、中程度のネットワーク遅延（16ms RTT）下でも、安全な合計プロトコルはHEを著しく上回った。
• 中間勾配から個々のデータを再構築するための非線形方程式系は、非常に非線形的であり、SciPy や SageMath といった標準的なソルバーでは解くことが不可能であることが判明した。
• SGDが初期条件に非常に敏感で、逆問題が非線形であるため、実用的には中間パラメータから入力を正確に再構築することはおそらく不可能である。
• 本研究では、特に複数の参加者間で垂直または任意に分割されたデータを扱う場合に、エンドツーエンド暗号化訓練を可能にする、より効率的なHE技術の開発が今後の課題であると示唆している。