[논문 리뷰] Federated Learning with Quantum Computing and Fully Homomorphic Encryption: A Novel Computing Paradigm Shift in Privacy-Preserving ML

Siddhant Dutta, Pavana P Karanth외 6명|arXiv (Cornell University)|2024. 09. 14.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 풀 히든 암호화(FHE)와 양자 계산을 피드포워드 학습 프레임워크 내에 통합하여 기밀성과 효율성을 향상시키는 새로운 피드포워드 양자 신경망(FHE-FedQNN)을 제안한다. FHE를 사용해 모델 업데이트를 암호화하고, 로컬 계산을 위해 양자 회로를 활용함으로써 강력한 기밀성 보장을 확보하면서도 성능 오버헤드를 최소화한다. 이는 기밀성 보장 기반 머신러닝에서 일반화 능력과 확장성 향상에 기여한다.

ABSTRACT

The widespread deployment of products powered by machine learning models is raising concerns around data privacy and information security worldwide. To address this issue, Federated Learning was first proposed as a privacy-preserving alternative to conventional methods that allow multiple learning clients to share model knowledge without disclosing private data. A complementary approach known as Fully Homomorphic Encryption (FHE) is a quantum-safe cryptographic system that enables operations to be performed on encrypted weights. However, implementing mechanisms such as these in practice often comes with significant computational overhead and can expose potential security threats. Novel computing paradigms, such as analog, quantum, and specialized digital hardware, present opportunities for implementing privacy-preserving machine learning systems while enhancing security and mitigating performance loss. This work instantiates these ideas by applying the FHE scheme to a Federated Learning Neural Network architecture that integrates both classical and quantum layers.

연구 동기 및 목표

• 피드포워드 기반 머신러닝에서의 데이터 기밀성과 보안 문제에 대응하기 위해.
• 기존 피드포워드 학습에서 내재된 계산 및 통신 오버헤드를 완화하기 위해.
• 풀 히든 암호화(FHE)를 사용한 양자 기반 안전 암호화를 통해 기밀성을 향상시키기 위해.
• 양자 계산을 피드포워드 학습에 통합하여 로컬 학습을 가속화할 수 있는지를 탐색하기 위해.
• 하이브리드 고전-양자 피드포워드 학습 시스템에서 기밀성, 정확도, 학습 효율성 간의 성능 트레이드오프를 평가하기 위해.

제안 방법

• 고전적 및 양자 신경망 레이어를 모두 포함하는 하이브리드 피드포워드 학습 아키텍처를 제안한다.
• 모델 업데이트를 중앙 서버로 전송하기 전에 풀 히든 암호화(FHE)를 적용한다.
• 로컬 모델 학습을 위해 양자 회로를 활용하여 행렬 연산 및 기울기 계산에서 양자 가속 효과를 도입한다.
• 실제 구현과 재현 가능성을 확보하기 위해 고전 하드웨어에서 양자 회로를 시뮬레이션하기 위해 텐서 네트워크 시뮬레이션을 사용한다.
• 암호화된 모델 업데이트를 복호화 없이 집계하는 피드포워드 평균 전략을 적용한다.
• 20라운드, 20명의 클라이언트, 라운드당 10에포크로 CIFAR-10, 뇌 MRI, PCOS 데이터셋에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 FHE를 양자 피드포워드 학습과 통합할 경우 모델 정확도와 학습 시간에 어떤 영향을 미치는가?
• RQ2 피드포워드 학습에서 양자 계산 레이어를 통합하면 로컬 계산 오버헤드를 줄일 수 있으며, 동시에 기밀성을 유지할 수 있는가?
• RQ3 FHE가 피드포워드 양자 신경망에서 모델 일반화에 어떤 영향을 미치는가?
• RQ4 FHE-FedQNN와 표준 FedNN 모델 간에 다양한 데이터셋에서 테스트 정확도와 손실 측면에서 어떤 차이가 있는가?
• RQ5 이 하이브리드 피드포워드 학습 아키텍처에서 고전 하드웨어에서의 양자 시뮬레이션은 실제 양자 장치의 동작을 어느 정도 재현할 수 있는가?

주요 결과

• FHE-FedQNN 모델은 뇌 MRI 데이터셋에서 99.60%의 학습 정확도와 88.75%의 테스트 정확도를 기록했으며, 더 높은 테스트 손실에도 불구하고 표준 FedNN보다 일반화 능력이 뛰어났다.
• CIFAR-10에서 FHE-FedQNN 모델은 100%의 학습 정확도와 68.53%의 테스트 정확도를 달성했으며, 테스트 손실은 1.322, 학습 시간은 136.4분이었다.
• FHE-FedQNN 모델은 더 높은 테스트 손실에도 불구하고 표준 FedNN보다 일반화 능력이 향상되었으며, 뇌 MRI(88.4% 대 90.36%)와 PCOS(64.11% 대 65.37%)에서 높은 테스트 정확도를 기록했다.
• 양자 레이어와 FHE의 통합으로 인해 학습 시간이 유의미하게 증가하지 않았으며, FHE-FedQNN 모델은 CIFAR-10에서 표준 FedNN의 128.9분 대비 136.4분으로 학습을 완료했다.
• 이 프레임워크는 양자 강화 로컬 학습이 엔드 투 엔드 FHE 암호화와 함께 금전적 성능 손실 없이 공존할 수 있음을 입증했다.
• 오픈소스 구현은 https://github.com/elucidator8918/QFL-MLNCP-NeurIPS 에서 제공되어 재현성과 향후 벤치마킹을 가능하게 한다.