[논문 리뷰] A Universal Training Algorithm for Quantum Deep Learning

Guillaume Verdon, Jason Pye외 1명|arXiv (Cornell University)|2018. 06. 25.

Quantum Computing Algorithms and Architecture참고 문헌 6인용 수 73

한 줄 요약

이 논문은 Baqprop를 제시하고 양자 매개 회로와 고전 신경망을 양자 하드웨어에서 훈련시키기 위한 두 가지 보편적 양자 최적화 휴리스틱인 Quantum Dynamical Descent (QDD)와 Momentum Measurement Gradient Descent (MoMGrad)을 구축하며, 대표적 응용에 대한 수치 시뮬레이션으로 이를 보인다.

ABSTRACT

We introduce the Backwards Quantum Propagation of Phase errors (Baqprop) principle, a central theme upon which we construct multiple universal optimization heuristics for training both parametrized quantum circuits and classical deep neural networks on a quantum computer. Baqprop encodes error information in relative phases of a quantum wavefunction defined over the space of network parameters; it can be thought of as the unification of the phase kickback principle of quantum computation and of the backpropagation algorithm from classical deep learning. We propose two core heuristics which leverage Baqprop for quantum-enhanced optimization of network parameters: Quantum Dynamical Descent (QDD) and Momentum Measurement Gradient Descent (MoMGrad). QDD uses simulated quantum coherent dynamics for parameter optimization, allowing for quantum tunneling through the hypothesis space landscape. MoMGrad leverages Baqprop to estimate gradients and thereby perform gradient descent on the parameter landscape; it can be thought of as the quantum-classical analogue of QDD. In addition to these core optimization strategies, we propose various methods for parallelization, regularization, and meta-learning as augmentations to MoMGrad and QDD. We introduce several quantum-coherent adaptations of canonical classical feedforward neural networks, and study how Baqprop can be used to optimize such networks. We develop multiple applications of parametric circuit learning for quantum data, and show how to perform Baqprop in each case. One such application allows for the training of hybrid quantum-classical neural-circuit networks, via the seamless integration of Baqprop with classical backpropagation. Finally, for a representative subset of these proposed applications, we demonstrate the training of these networks via numerical simulations of implementations of QDD and MoMGrad.

연구 동기 및 목표

• 양자 매개 네트워크를 훈련하기 위한 양자 네이티브 역전파 원리(Baqprop)를 동기 부여하고 위상 킥백과 고전적 역전파를 통합하여 형식화한다.
• Baqprop를 활용하여 양자 및 하이브리드 양자-고전 네트워크를 훈련시키기 위한 두 가지 핵심 최적화 휴리스틱(QDD와 MoMGrad)을 개발한다.
• 병렬화, 정규화, 메타러닝 등의 보강 기법을 제안하고 Baqprop를 다양한 양자 신경망 및 매개 회로 모델에 적용한다.
• 수치 시뮬레이션을 통해 QDD와 MoMGrad로 대표 응용의 훈련 가능성을 시연한다.
• 고전적 및 양자 딥러닝 이론을 연결하여 양자 및 하이브리드 아키텍처 간의 원활한 최적화를 가능하게 한다.

제안 방법

• Baqprop를 네트워크 매개변수에 대한 양자 파동함수의 상대 위상 차이에 에러 정보를 인코딩하는 방식으로 도입한다.
• 유효 포텐셜 아래 시뮬레이티드 슈뢰딩거 역학을 이용한 완전 양자 일관성 파라미터 최적화를 QDD로 정의한다.
• Baqprop로 유도된 위상 킥을 측정하여 고전적 유사 업데이트를 위한 기울기를 추정하는 양자-고전 혼합 방식인 MoMGrad를 정의한다.
• 고전 신경망 아키텍처의 양자 일관성 적응을 제공하고 Baqprop를 통한 학습을 논의한다.
• QDD와 MoMGrad를 보완하기 위한 병렬화, 정규화 및 메타러닝 기법을 개요한다.
• QDD를 QAOA와 QAA 개념과 연계시켜 방법을 알려진 양자 최적화 패러다임 내에서 위치시킨다.

실험 결과

연구 질문

• RQ1 Baqprop가 양자 하드웨어에서 매개 네트워크를 훈련시키기 위해 양자 네이티브 방식으로 기울기 정보를 어떻게 인코딩할 수 있는가?
• RQ2 QDD와 MoMGrad가 양자 매개 회로 및 하이브리드 양자-고전 네트워크를 고전적 역전파와 비슷하거나 더 나은 성능으로 효과적으로 최적화할 수 있는가?
• RQ3 병렬화, 정규화, 메타러닝과 같은 어떤 보강 전략이 Baqprop 기반 학습을 향상시키는가?
• RQ4 수치 시뮬레이션으로 입증된 바와 같이 대표적 양자 신경망 및 매개 회로 과제가 Baqprop 하에서 학습 가능한가?

주요 결과

• Baqprop는 위상 킥백과 역전파를 연결하는 통합 관점을 제공하여 기울기 정보가 양자 매개 네트워크를 통해 전달되도록 한다.
• 제안된 두 가지 핵심 최적화 전략은 QDD와 MoMGrad이다.
• QDD는 일관된 양자 동역학을 이용해 가설 공간을 탐색하며 거칠은 경관을 터널링할 수 있게 하고, MoMGrad는 위상 킥을 양자-고전적으로 측정하여 기울기를 추정한다.
• 이 프레임워크는 양자-일관 신경망, 양자 매개 회로, 고전 역전파와의 통합을 포함한 하이브리드 양자-고전 네트워크를 지원한다.
• 이 논문은 QDD와 MoMGrad를 사용해 제안된 응용의 대표 하위 집합에 대한 훈련을 시연하는 수치 시뮬레이션을 제시한다.
• 배치 처리, 병렬화, 정규화(가중치 감소, 드롭아웃) 및 양자 메타러닝과 같은 보강 기법들을 논의하여 성능을 향상시킨다.