[논문 리뷰] QuantumFed: A Federated Learning Framework for Collaborative Quantum Training

Qi Xia, Qun Li|arXiv (Cornell University)|2021. 06. 16.

Quantum Computing Algorithms and Architecture인용 수 5

한 줄 요약

QuantumFed는 원자료를 공유하지 않고도 다수의 양자 노드가 국소적 양자 데이터를 사용하여 글로벌 양자 신경망을 공동으로 훈련할 수 있도록 하는 페더레이티드 러닝 프레임워크이다. 노이즈가 70%에 이르는 상황에서도 높은 정밀도와 강건한 성능을 달성하여 분산 양자 머신러닝에서의 실현 가능성과 내구성을 입증한다.

ABSTRACT

With the fast development of quantum computing and deep learning, quantum neural networks have attracted great attention recently. By leveraging the power of quantum computing, deep neural networks can potentially overcome computational power limitations in classic machine learning. However, when multiple quantum machines wish to train a global model using the local data on each machine, it may be very difficult to copy the data into one machine and train the model. Therefore, a collaborative quantum neural network framework is necessary. In this article, we borrow the core idea of federated learning to propose QuantumFed, a quantum federated learning framework to have multiple quantum nodes with local quantum data train a mode together. Our experiments show the feasibility and robustness of our framework.

연구 동기 및 목표

• 개인정보나 기술적 제약으로 인해 데이터를 중앙 집중화할 수 없는 다수의 양자 장치에 분산된 데이터 상황에서 글로벌 양자 신경망을 훈련시키는 데 도전하는 것.
• 페더레이티드 러닝 원칙을 양자 머신러닝에 적응시켜 데이터 국지성과 기밀성을 유지하면서 공동 훈련을 가능하게 하는 것.
• 비독립 동일분포(Non-iid) 데이터와 노이즈가 있는 데이터를 포함한 현실적인 조건에서 양자 페더레이티드 러닝 프레임워크의 실현 가능성과 강건성을 평가하는 것.
• 양자 신경망이 양자 페더레이티드 러닝을 통해 분산된 방식으로 효과적으로 훈련될 수 있음을 보여주는 것.

제안 방법

• 각 양자 노드가 자체의 비공개 양자 데이터를 사용해 로컬 모델을 훈련하고, 중앙 서버에 단지 모델 업데이트(유니터리)만 공유하는 QuantumFed라는 양자 페더레이티드 러닝 프레임워크를 제안한다.
• 층을 거쳐서 작용하는 유니터리 연산과 부분 추적을 사용해 층 출력을 계산하는 양자 신경망 아키텍처를 활용하여 글로벌 모델의 종단 간 훈련을 가능하게 한다.
• 모델 성능 평가를 위해 허상 기반 비용 함수와 평균 제곱 오차(MSE)를 사용하여 훈련 데이터 및 테스트 데이터에서의 성능을 평가한다.
• 입력 벡터 유사도 기반으로 비독립 동일분포(Non-iid) 훈련 데이터를 노드에 분산시켜 이질적인 페더레이티드 환경을 시뮬레이션한다.
• 수렴성을 평가하기 위해 조정 가능한 로컬 업데이트 간격을 가진 확률적 경사 하강법(SGD)과 전량 경사 하강법(GD) 최적화를 적용한다.
• 훈련 데이터의 일부를 무작위 입력-출력 쌍으로 대체하여 통제된 노이즈를 도입함으로써 데이터 손상 상황에서의 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 원자료를 중앙 집중화하지 않고도 분산된 양자 환경에서 글로벌 양자 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 통신 라운드당 로컬 훈련 스텝 수가 양자 페더레이티드 러닝의 수렴성과 성능에 미치는 영향은 어떠한가?
• RQ3 QuantumFed 프레임워크는 어느 정도까지 노이즈가 있거나 손상된 훈련 데이터를 견디면서도 모델 정확도를 유지할 수 있는가?
• RQ4 이 프레임워크는 SGD와 GD 최적화 전략을 모두 지원하며, 양자 신경망 훈련에서 유사한 성능을 달성할 수 있는가?

주요 결과

• QuantumFed 프레임워크는 50회 훈련 반복 후 약 1.0의 허상과 약 0.0의 MSE를 달성하며 다수의 노드에서 글로벌 양자 신경망을 성공적으로 훈련시켰다.
• 통신 라운드당 로컬 훈련 스텝 수를 늘릴수록 수렴 속도와 최종 모델 성능이 향상되어 깊은 로컬 최적화의 이점이 있음을 시사한다.
• 노이즈 훈련 데이터 비율이 70% 이하일 경우에도 수용 가능한 성능을 유지하며, 노이즈 비율이 50% 이하일 경우 최종 성능은 유사하게 유지되어 강력한 강건성을 입증한다.
• SGD와 GD 최적화 전략 모두 비슷한 성능 수준에 수렴하여 프레임워크가 다양한 최적화 철학과의 호환성을 확보하고 있음을 확인한다.
• 시뮬레이션 결과는 노드 간 비독립 동일분포 데이터 분포가 존재하는 상황에서도 페더레이티드 환경에서 공동 양자 훈련의 실현 가능성을 검증한다.
• 허상과 MSE 지표의 사용은 훈련된 모델이 깨끗한 테스트 데이터와 노이즈가 있는 테스트 데이터 모두에서 목표 유니터리 변환을 정확하게 근사하고 있음을 확인한다.