[論文レビュー] Federated Learning with Quantum Computing and Fully Homomorphic Encryption: A Novel Computing Paradigm Shift in Privacy-Preserving ML

Siddhant Dutta, Pavana P Karanth+6 more|arXiv (Cornell University)|Sep 14, 2024

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、完全準同型暗号（FHE）と量子コンピューティングをフェデレーテッドラーニングフレームワーク内に統合することで、プライバシーと効率性を向上させる、新しいフェデレーテッド量子ニューラルネットワーク（FHE-FedQNN）を提案する。FHEを用いてモデル更新を暗号化し、ローカル計算に量子回路を活用することで、最小限のパフォーマンスオーバーヘッドで強力なプライバシー保証を達成し、プライバシー保護型機械学習における一般化性能とスケーラビリティの向上を実証した。

ABSTRACT

The widespread deployment of products powered by machine learning models is raising concerns around data privacy and information security worldwide. To address this issue, Federated Learning was first proposed as a privacy-preserving alternative to conventional methods that allow multiple learning clients to share model knowledge without disclosing private data. A complementary approach known as Fully Homomorphic Encryption (FHE) is a quantum-safe cryptographic system that enables operations to be performed on encrypted weights. However, implementing mechanisms such as these in practice often comes with significant computational overhead and can expose potential security threats. Novel computing paradigms, such as analog, quantum, and specialized digital hardware, present opportunities for implementing privacy-preserving machine learning systems while enhancing security and mitigating performance loss. This work instantiates these ideas by applying the FHE scheme to a Federated Learning Neural Network architecture that integrates both classical and quantum layers.

研究の動機と目的

• フェデレーテッド機械学習におけるデータプライバシーとセキュリティに関する懸念を解決すること。
• 従来のフェデレーテッドラーニングに内在する計算および通信のオーバーヘッドを軽減すること。
• 完全準同型暗号（FHE）を用いた量子耐性暗号化によりプライバシーを強化すること。
• 量子コンピューティングをフェデレーテッドラーニングに統合し、ローカルトレーニングを高速化することの可能性を検討すること。
• ハイブリッド古典-量子FLシステムにおけるプライバシー、精度、トレーニング効率のパフォーマンストレードオフを評価すること。

提案手法

• 古典的および量子ニューラルネットワーク層を併用するハイブリッドフェデレーテッドラーニングアーキテクチャを提案する。
• 中央サーバーへの送信前に、モデル更新を完全準同型暗号（FHE）で暗号化する。
• クライアントでのローカルモデルトレーニングに量子回路を活用し、行列演算および勾配計算における量子スピードアップを活用する。
• 実装の実用性と再現可能性を確保するため、古典的ハードウェア上で量子回路をテンソルネットワークシミュレーションでエミュレートする。
• 暗号化されたモデル更新を復号せずに集約するフェデレーテッドアベレージ戦略を採用する。
• CIFAR-10、脳MRI、PCOSのデータセットを20ラウンド、20クライアント、1ラウンドあたり10エポックで検証する。

実験結果

リサーチクエスチョン

• RQ1 FHEと量子フェデレーテッドラーニングを統合することで、モデルの精度とトレーニング時間にどのような影響が生じるか？
• RQ2 フェデレーテッドラーニングにおける量子コンピューティングレイヤーは、プライバシーを保持したままローカル計算のオーバーヘッドを低減できるか？
• RQ3 FHEの導入が、フェデレーテッド量子ニューラルネットワークにおけるモデル一般化性能に及ぼす影響は何か？
• RQ4 FHE-FedQNNと標準的なFedNNモデルは、多様なデータセットにおいて、テスト精度と損失の観点でどのように比較されるか？
• RQ5 古典的ハードウェア上で実行する量子シミュレーションは、このハイブリッドFLフレームワークにおいて、実際の量子デバイスの挙動をどの程度再現できるか？

主な発見

• FHE-FedQNNモデルは、脳MRIデータセットで100%のトレーニング精度と88.75%のテスト精度を達成し、高いテスト損失を示したが、標準的なFedNNよりも一般化性能に優れた結果を示した。
• CIFAR-10では、FHE-FedQNNモデルが100%のトレーニング精度、68.53%のテスト精度、1.322のテスト損失、136.4分のトレーニング時間を達成した。
• FHE-FedQNNモデルは、標準的なFedNNと比較して一般化性能が向上し、脳MRI（88.4% vs. 90.36%）およびPCOS（64.11% vs. 65.37%）の両方で高いテスト精度を示したが、テスト損失はやや高かった。
• 量子レイヤーとFHEの統合によりトレーニング時間が顕著に延長されず、CIFAR-10ではFHE-FedQNNが136.4分、標準的なFedNNが128.9分で完了した。
• このフレームワークは、エンドツーエンドのFHE暗号化と量子強化ローカルトレーニングが、著しいパフォーマンスペナルティを伴わずに共存できることを示した。
• オープンソース実装は https://github.com/elucidator8918/QFL-MLNCP-NeurIPS で公開されており、再現性とさらなるベンチマークが可能である。