[論文レビュー] Privacy-preserving Federated Learning based on Multi-key Homomorphic Encryption

Jing Ma, Si‐Ahmed Naas+2 more|arXiv (Cornell University)|Apr 14, 2021

Privacy-Preserving Technologies in Data参考文献 51被引用数 20

ひとこと要約

本稿では、集約公開鍵と共同復号を用いたマルチキー格子暗号を用いたプライバシー保護型フェデレーテッドラーニング方式xMK-CKKSを提案する。全参加者が共同で集約結果を復号することで、モデル更新の機密性を確保し、コラージョン攻撃に耐性を示し、パルイエールベースの方式と比較して計算コストを低減する。同時に、IoT環境に適した高精度なモデルと低消費電力（2.4W）を維持する。

ABSTRACT

With the advance of machine learning and the internet of things (IoT), security and privacy have become key concerns in mobile services and networks. Transferring data to a central unit violates privacy as well as protection of sensitive data while increasing bandwidth demands.Federated learning mitigates this need to transfer local data by sharing model updates only. However, data leakage still remains an issue. In this paper, we propose xMK-CKKS, a multi-key homomorphic encryption protocol to design a novel privacy-preserving federated learning scheme. In this scheme, model updates are encrypted via an aggregated public key before sharing with a server for aggregation. For decryption, collaboration between all participating devices is required. This scheme prevents privacy leakage from publicly shared information in federated learning, and is robust to collusion between $k

研究の動機と目的

• モデル更新が機密データを露呈する可能性があるフェデレーテッドラーニングにおけるプライバシー漏洩を解決すること。
• 共通鍵が共有される従来の格子暗号では、参加者が誰でも復号可能であるという制限を克服すること。
• リソース制限のあるIoTデバイスに適したマルチキー格子暗号方式を設計すること。
• k < N−1のデバイスとサーバーとのコラージョンがあっても、モデル更新の機密性を保証すること。
• 従来の格子暗号ベースのフェデレーテッドラーニング方式と比較して、計算コストとエネルギー消費を低減すること。

提案手法

• xMK-CKKSを提案し、個々の公開鍵の和によって形成される集約公開鍵を用いて暗号化するMK-CKKSの変種である。
• 個々の秘密鍵と暗号文を組み合わせる復号共有メカニズムを導入し、単一の参加者が他の者のデータを復号できないようにする。
• マルチキー格子暗号を用いて、サーバーでの集約前に暗号化されたモデル更新に対して同型演算を可能にする。
• 全参加デバイスが共同で復号に参加する必要があるため、サーバーまたは一部のクライアントが侵害されても不正アクセスを防ぐ。
• CKKSを用いて近似固定小数点演算を実現し、実数値のモデル重みに対して効率的な計算を可能にする。
• デバイスが局所的に勾配を暗号化し、サーバーに送信して集約し、全参加者が共同でグローバルモデル更新を復号するフェデレーテッドラーニングパイプラインに導入する。

実験結果

リサーチクエスチョン

• RQ1 異なる鍵を使用するデバイス間で、フェデレーテッドラーニングにおけるプライバシー漏洩を防げるマルチキー格子暗号方式を設計できるか？
• RQ2 暗号化や集約の過程でデバイス間の相互作用を必要とせずに、共同復号をどのように実現できるか？
• RQ3 提案方式はパルイエールおよびMK-CKKSベースのフェデレーテッドラーニングと比較して、計算コストとエネルギー消費を低減できるか？
• RQ4 本方式は、実世界のIoT環境において、非暗号化フェデレーテッドラーニングと同等のモデル精度を維持できるか？
• RQ5 一部のデバイスとサーバーとのコラージョンに対して、本方式はどれほど耐性があるか？

主な発見

• xMK-CKKSベースのフェデレーテッドラーニング方式は、従来のフェデレーテッドラーニングおよびMK-CKKSやパルイエール暗号を用いた安全な方式と同等のモデル精度を維持する。
• パルイエールベースのフェデレーテッドラーニングと比較して、計算コストが顕著に低く抑えられ、暗号化、集約、復号、復号共有生成の各段階でMK-CKKSに非常に近い性能を示す。
• 10台のJetson Nanoデバイスで平均2.4ワットの消費電力であり、低消費電力のIoT環境に適していることを示している。
• k < N−1のデバイスとサーバーとのコラージョンに対しても、復号には全参加者の共有が必要であるため、本方式は耐性がある。
• 通信コストは低く抑えられ、送信されるのは生データではなく暗号化されたモデル更新のみである。
• 本方式は、エッジデバイスを用いたスマートヘルスケア分野における安全でスケーラブルかつ効率的なフェデレーテッドラーニングを実現できる。