[논문 리뷰] Quantum-Noise-Driven Generative Diffusion Models

Marco Parigi, Stefano Martina외 1명|arXiv (Cornell University)|2023. 08. 23.

Computational Physics and Python Applications참고 문헌 82인용 수 4

한 줄 요약

이 논문은 양자 노이즈, 양자 얽힘, 양자 중첩을 오류가 아닌 계산적 이점으로 활용하는 세 가지 양자 노이즈 기반 생성 확산 모델(CQGDM, QCGDM, QQGDM)을 제안한다. 고전적 확산 또는 노이즈 제거를 양자 확률적 동역학으로 대체함으로써, 복잡한 확률 분포의 더 효율적인 샘플링을 가능하게 하며, 1차원 데이터셋에서 하이브리드 고전-양자 모델의 성공적인 훈련을 수치 시뮬레이션을 통해 입증한다.

ABSTRACT

Generative models realized with machine learning techniques are powerful tools to infer complex and unknown data distributions from a finite number of training samples in order to produce new synthetic data. Diffusion models are an emerging framework that have recently overcome the performance of the generative adversarial networks in creating synthetic text and high-quality images. Here, we propose and discuss the quantum generalization of diffusion models, i.e., three quantum-noise-driven generative diffusion models that could be experimentally tested on real quantum systems. The idea is to harness unique quantum features, in particular the non-trivial interplay among coherence, entanglement and noise that the currently available noisy quantum processors do unavoidably suffer from, in order to overcome the main computational burdens of classical diffusion models during inference. Hence, we suggest to exploit quantum noise not as an issue to be detected and solved but instead as a very remarkably beneficial key ingredient to generate much more complex probability distributions that would be difficult or even impossible to express classically, and from which a quantum processor might sample more efficiently than a classical one. An example of numerical simulations for an hybrid classical-quantum generative diffusion model is also included. Therefore, our results are expected to pave the way for new quantum-inspired or quantum-based generative diffusion algorithms addressing more powerfully classical tasks as data generation/prediction with widespread real-world applications ranging from climate forecasting to neuroscience, from traffic flow analysis to financial forecasting.

연구 동기 및 목표

• 생성 모델링에서 양자 노이즈를 장애물이 아닌 계산 자원으로 활용할 수 있는지 탐색하는 것.
• 양자 특성인 얽힘과 중첩을 활용하는 고전 확산 모델의 양자 일반화를 개발하는 것.
• 고전적 동역학을 양자 확률적 과정으로 대체함으로써, 복잡한 확률 분포의 더 효율적인 샘플링을 가능하게 하는 것.
• 수치 시뮬레이션을 통해 하이브리드 고전-양자 확산 모델의 실현 가능성과 타당성을 입증하는 것.
• 기후 예측, 신경과학, 금융 모델링 등의 분야에서 양자 강화 생성 모델링을 위한 새로운 길을 열어가는 것.

제안 방법

• 세 가지 변종 제안: 고전 확산에 양자 노이즈 제거를 적용한 CQGDM, 양자 확산에 고전 노이즈 제거를 적용한 QCGDM, 완전히 양자화된 확산 및 노이즈 제거를 적용한 QQGDM.
• 데이터를 시간 T=40에서 등방성 가우시안 분포로 매핑하기 위해 고전적 마르코프 체인과 가우시안 전이 커널을 사용.
• 의미와 대각선 공분산을 추정하기 위해 역행 각도 임bedding과 얽힘 CNOT 게이트를 갖는 파라미터화된 양자 회로(PQC)를 노이즈 제거 과정 모델링에 활용.
• 두 부분으로 구성된 두 부분의 양자 회로 설계: '헤드'는 특징 인코딩을 위해, '테일'은 시간에 따라 변하는 파rameter를 위해 설계되며, 각각 공유 및 고유 파라미터를 사용.
• 40,000 에포크 동안 배치 크기 1,000개로, Adam 최적화기와 Kullback-Leibler 발산 손실을 사용해 PQC를 훈련.
• Pennylane와 PyTorch를 사용해 시뮬레이션을 수행하며, σz의 기대값 측정을 통해 평균과 분산 예측 추출.

Figure 1: Depiction of the diffusion (from left to right) and denoising (from right to left) processes within a diffusion probabilistic model framework. The original image $\mathbf{x}_{0}$ sampled from the unknown data distribution $p(\mathbf{x}_{0})$ is progressively perturbed ( $t\rightarrow t+1$

실험 결과

연구 질문

• RQ1 양자 노이즈를 오류의 원인이 아니라 생성 모델링에서 유용한 자원으로 활용할 수 있는가?
• RQ2 양자 확률적 동역학은 고전적 확산 모델 대비 복잡한 확률 분포의 샘플링 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 하이브리드 고전-양자 확산 모델의 성능 특성은 합성 데이터 생성에 어떻게 영향을 미치는가?
• RQ4 파라미터화된 양자 회로는 확산 프레임워크 내에서 역행 노이즈 제거 과정을 효과적으로 근사할 수 있는가?
• RQ5 얽힘과 중첩과 같은 양자 특성은 생성 모델의 표현력 향상에 어떤 역할을 하는가?

주요 결과

• 하이브리드 고전-양자 생성 확산 모델(CQGDM)은 1차원 선분 분포에서의 데이터를 목표 가우시안 분포로 노이즈 제거하는 데 성공적으로 학습하였다.
• 학습은 Adam 최적화기와 10−4의 학습률을 사용해 40,000 에포크 동안 수행되었으며, 예측된 분포와 목표 분포 간 Kullback-Leibler 발산을 최소화하였다.
• 4 큐비트 회로와 256층의 파라미터화된 회전 및 CNOT 게이트를 갖는 PQC 아키텍처는 평균과 분산 파라미터의 효과적인 추정을 가능하게 하였다.
• 회로의 헤드 부분은 시간 단계 간 공유 파라미터를 사용하였고, 테일 부분은 시간에 따라 다른 파라미터를 사용하여 노이즈 제거 시퀀스 전반에 걸친 일반화 성능을 향상시켰다.
• 모델 출력은 평균 예측에 대해 3배로 스케일링되었고, 분산 예측은 1만큼 증가시켜 양수성 확보 및 생성 샘플 범위 확장.
• 수치 결과는 복잡한 분포에 대해 양자 프로세서가 고전 모델보다 더 효율적으로 노이즈 제거 단계를 구현할 수 있음을 입증하였다.

Figure 2: Evolution of the data distribution for a simulated CQGDM . The initial data distribution consists of two-dimensional points distributed in a line segment between $-1$ and $1$ . The diffusion process is implemented via a classical DM that transforms the initial data distribution $p(\mathbf{