[논문 리뷰] A Path Towards Quantum Advantage in Training Deep Generative Models with Quantum Annealers

Walter Vinci, Lorenzo Buffoni외 4명|arXiv (Cornell University)|2019. 12. 04.

Quantum Computing Algorithms and Architecture참고 문헌 3인용 수 8

한 줄 요약

이 논문은 D-Wave 양자 앤날링기를 본질적인 볼츠만 샘플러로 사용하여 양자-고전 하이브리드 변분 오토에인코드러(QVAE)를 제안한다. 이는 컨volutional 오토에인코드러의 잠재공간에서 깊이 있는 생성 모델을 훈련시키는 데 사용된다. MNIST에서 −82.2±0.2 nats의 경쟁력 있는 성능을 달성하며, 노이즈에 대한 강건성과 큰 표현력 있는 잠재공간 RBM를 통한 양자 우월성 향한 확장 가능한 길을 보여준다.

ABSTRACT

The development of quantum-classical hybrid (QCH) algorithms is critical to achieve state-of-the-art computational models. A QCH variational autoencoder (QVAE) was introduced in Ref. [1] by some of the authors of this paper. QVAE consists of a classical auto-encoding structure realized by traditional deep neural networks to perform inference to, and generation from, a discrete latent space. The latent generative process is formalized as thermal sampling from either a quantum or classical Boltzmann machine (QBM or BM). This setup allows quantum-assisted training of deep generative models by physically simulating the generative process with quantum annealers. In this paper, we have successfully employed D-Wave quantum annealers as Boltzmann samplers to perform quantum-assisted, end-to-end training of QVAE. The hybrid structure of QVAE allows us to deploy current-generation quantum annealers in QCH generative models to achieve competitive performance on datasets such as MNIST. The results presented in this paper suggest that commercially available quantum annealers can be deployed, in conjunction with well-crafted classical deep neutral networks, to achieve competitive results in unsupervised and semisupervised tasks on large-scale datasets. We also provide evidence that our setup is able to exploit large latent-space (Q)BMs, which develop slowly mixing modes. This expressive latent space results in slow and inefficient classical sampling, and paves the way to achieve quantum advantage with quantum annealing in realistic sampling applications.

연구 동기 및 목표

• 현재 세대의 양자 앤날링기를 사용하여 깊이 있는 생성 모델을 훈련하기 위한 확장 가능한 양자-고전 하이브리드 프레임워크를 개발하는 것.
• 큰 제한된 볼츠만 기계(RBM)에서의 고전적 샘플링의 계산적 병목 현상을 극복하기 위해 샘플링을 양자 앤날링기로 이관하는 것.
• 임베딩 또는 오류 보정 기법 없이도 양자 앤날링기가 하이브리드 모델에서 효과적이고 본질적인 샘플러로 기능할 수 있음을 입증하는 것.
• 고전적 샘플링으로는 비가역적인 큰 복잡한 잠재공간 RBM을 활용하여 비지도 학습에서의 양자 우월성 달성 가능성을 탐색하는 것.
• 다양한 노이즈 프로파일을 가진 다양한 양자 앤날링기 아키텍처에서 하이브리드 모델의 강건성을 검증하는 것.

제안 방법

• 모델은 입력 데이터를 이산적인 잠재공간으로 인코딩하여 효율적인 특징 추출과 차원 축소를 가능하게 하는 고전적 깊이 컨volution 오토에인코드러를 사용한다.
• 잠재공간에서 사전 분포를 모델링하기 위해 제한된 볼츠만 기계(RBM)를 훈련시키며, 그 샘플링은 D-Wave 양자 앤날링기를 통해 수행된다.
• 양자 앤날링기는 임베딩 없이도 본질적인 그래프 연결성을 활용하여 RBM의 에너지 구조에서 직접적인 샘플링을 수행하는 본질적인 샘플러로 사용된다.
• 모든 샘플링은 양자 앤날링기에서 직접 수행되며, 미세 임베딩 또는 고전적 후처리 없이도 실현 가능하다.
• 하이브리드 변분 추론 프레임워크를 사용하여 오토에인코드러와 RBM을 함께 확률적 경사 하강법으로 최적화한다.
• 노이즈와 제어 오차는 깊이 있는 신경망이 학습된 전처리 및 후처리 기능을 수행함으로써 정규화 효과를 통해 완화된다.
• 이 접근법은 노이즈 특성과 큐비트 연결성(Chimera 및 Pegasus)이 다른 세 대의 D-Wave 앤날링기에서 테스트되었으며, 일관된 성능을 보였다.

실험 결과

연구 질문

• RQ1 임베딩 또는 오류 보정 없이도 양자 앤날링기가 깊이 있는 생성 모델에서 본질적인 볼츠만 샘플러로 효과적으로 사용될 수 있는가?
• RQ2 실제 양자 하드웨어를 사용할 때 하이브리드 QVAE 프레임워크가 MNIST와 같은 표준 벤치마크에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ3 오토에인코드러의 깊이 있는 신경망이 현재 세대의 양자 앤날링기에서 발생하는 노이즈와 제어 오차를 어느 정도 완화하는가?
• RQ4 잠재공간에 큰, 천천히 혼합되는 RBM은 복잡한 분포를 샘플링하는 데 있어 양자 우월성 향한 길을 열 수 있는가?
• RQ5 노이즈와 연결성의 특성이 다른 다양한 양자 앤날링기 아키텍처에서 모델의 성능은 어떻게 스케일링되는가?

주요 결과

• QVAE는 MNIST 데이터셋에서 −82.2±0.2 nats의 로그우도를 달성했으며, −78.5 nats를 기록한 최신 자동귀사 모델보다 뛰어난 성능을 보였다.
• 모델은 노이즈 프로파일과 큐비트 연결성이 다른 세 대의 서로 다른 D-Wave 양자 앤날링기에서 일관된 성능을 보였다.
• 깊이 있는 컨volution 오토에인코드러는 노이즈와 제어 오차의 영향을 효과적으로 정규화하여, 최소한의 가중치 정규화로도 안정적인 훈련을 가능하게 하였다.
• 양자 앤날링기는 미세 임베딩 또는 다수결 투표 없이도 본질적인 샘플러로 사용되었으며, 하드웨어의 물리적 연결성을 그대로 유지하였다.
• 결과는 큰 표현력 있는 잠재공간 RBM—고전적 샘플링으로는 비용이 너무 높은—을 양자 앤날링을 통해 활용할 수 있음을 시사하며, 양자 우월성 향한 길을 열어준다.
• 프레임워크는 다양한 양자 하드웨어 연결성에 유연하게 적응 가능하여, 다양한 앤날링 아키텍처에 배포가 가능하다.