[논문 리뷰] Exploration of Quantum Neural Architecture by Mixing Quantum Neuron Designs

Zhepeng Wang, Zhiding Liang외 4명|arXiv (Cornell University)|2021. 09. 08.

Quantum Computing Algorithms and Architecture참고 문헌 46인용 수 8

한 줄 요약

이 논문은 변이형 양자 회로(VQC)와 QuantumFlow 뉴런을 통합하여 실수형 가중치의 이점을 얻고 이진 가중치의 효율성을 확보하는 새로운 양자 신경망 아키텍처인 QF-MixNN을 제안한다. 추가 측정 없이 MNIST에서 90.62%의 정확도를 달성하며, 두 기준 모델보다 유의미한 성능 향상을 보였다.

ABSTRACT

With the constant increase of the number of quantum bits (qubits) in the actual quantum computers, implementing and accelerating the prevalent deep learning on quantum computers are becoming possible. Along with this trend, there emerge quantum neural architectures based on different designs of quantum neurons. A fundamental question in quantum deep learning arises: what is the best quantum neural architecture? Inspired by the design of neural architectures for classical computing which typically employs multiple types of neurons, this paper makes the very first attempt to mix quantum neuron designs to build quantum neural architectures. We observe that the existing quantum neuron designs may be quite different but complementary, such as neurons from variational quantum circuits (VQC) and Quantumflow. More specifically, VQC can apply real-valued weights but suffer from being extended to multiple layers, while QuantumFlow can build a multi-layer network efficiently, but is limited to use binary weights. To take their respective advantages, we propose to mix them together and figure out a way to connect them seamlessly without additional costly measurement. We further investigate the design principles to mix quantum neurons, which can provide guidance for quantum neural architecture exploration in the future. Experimental results demonstrate that the identified quantum neural architectures with mixed quantum neurons can achieve 90.62% of accuracy on the MNIST dataset, compared with 52.77% and 69.92% on the VQC and QuantumFlow, respectively.

연구 동기 및 목표

• 양자 신경망 아키텍처 설계 분야에서 체계적인 탐색의 부족, 특히 다양한 양자 뉴런 유형을 통합할 수 있는 방법의 부재를 해결하고자 한다.
• 실수형 가중치와 제한된 깊이를 가진 VQC와 이진 가중치와 깊은 네트워크를 특징으로 하는 QuantumFlow와 같은 상호보완적인 양자 뉴런 설계를 효과적으로 융합하여 성능을 향상시킬 수 있는지 탐구하고자 한다.
• 중간 측정을 요구하지 않고 서로 다른 데이터 인코딩 방식을 가진 양자 뉴런을 연결하기 위한 일반적인 설계 원칙을 개발하고자 한다.
• 제안된 혼합 아키텍처의 성능을 표준 기계학습 벤치마크, 특히 MNIST에서 평가하여 기존 QNN보다 우수한 성능을 입증하고자 한다.

제안 방법

• 데이터 인코딩을 정렬하고 측정 없이 인터페이스를 제공함으로써, 서로 다른 아키텍처에서 온 양자 뉴런(VQC 및 QuantumFlow)을 혼합할 수 있는 프레임워크를 제안한다.
• VQC 블록(실수형 매개변수)과 QuantumFlow 레이어(이진 가중치)를 유니터리 변환을 통해 연결함으로써 양자 코herence를 유지하는 하이브리드 네트워크 구조인 QF-MixNN를 설계한다.
• 다양한 수의 V-레이어, U-레이어, P-레이어를 가진 혼합 양자 신경망 아키텍처를 체계적으로 구성할 수 있도록 허용하는 QF-Mixer 탐색 도구를 개발한다.
• 공통된 입력 인코딩 전략을 사용한다: 이미지를 28×28에서 4×4, 8×8, 또는 16×16로 다운샘플링하여 큐비트 수에 맞추고, 데이터는 진폭 인코딩을 통해 인코딩한다.
• 반복적인 R1 블록을 사용해 깊이를 증가시키는 파arameterized 양자 회로를 VQC에 적용하며, QuantumFlow 레이어는 고정된 이진 가중치 엔트레인팅 게이트를 사용한다.
• VQC 구성 요소에 대해 기울기 기반 최적화를 수행하면서도, QuantumFlow 레이어의 이진 가중치 구조를 유지하여 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 VQC와 QuantumFlow와 같은 서로 다른 양자 뉴런 설계를 의미 있게 융합하여 더 강력한 양자 신경망을 구성할 수 있는가?
• RQ2 예를 들어 진폭 인코딩과 이진 인코딩을 사용하는 서로 다른 데이터 인코딩 방식을 가진 양자 뉴런을, 비용이 많이 드는 중간 측정을 도입하지 않고 연결할 수 있는가?
• RQ3 VQC에서 온 실수형 가중치와 QuantumFlow에서 온 이진 가중치를 통합함으로써, 비선형적으로 분리되지 않는 데이터셋, 예를 들어 MNIST에서 성능 향상이 이루어지는가?
• RQ4 V-레이어의 수가 혼합 아키텍처의 성능에 미치는 영향는 어떠한가? 깊이와 최적화 안정성 사이의 상충 관계는 무엇인가?

주요 결과

• QF-MixNN는 전체 MNIST 데이터셋에서 90.62%의 정확도를 달성하여, VQC 기반 QNN(52.77%)와 QuantumFlow(69.92%)를 크게 앞서나갔다.
• MNIST-2(이진 분류)에서 VQC 기반 QNN는 QF-MixNN를 약 0.55% 뛰어넘는 성능을 보였으며, 이는 선형적으로 분리 가능한 문제에서 더 단순한 아키텍처가 유리할 수 있음을 시사한다.
• 더 복잡한 데이터셋(MNIST-3, MNIST-4, MNIST-5, MNIST-10)에서 QF-MixNN는 항상 두 기준 모델보다 뛰어난 성능을 보였으며, MNIST에서 VQC 기반 QNN에 비해 37.85%의 정확도 향상을 기록했다.
• QF-MixNN에서 V-레이어 수(R)를 늘릴수록 정확도가 일정 수준까지 향상되며, MNIST-4에서 R을 1에서 3으로 늘일 경우 2.19%의 성능 향상이 있었지만, R > 3인 깊은 구성에서는 성능 저하가 발생했다.
• 양자 뉴런을 혼합하기 위한 설계 원칙이 효과적임을 입증하였으며, 측정 오버헤드 없이 다양한 양자 뉴런 유형을 원활하게 통합할 수 있음을 보였다.
• QF-Mixer 도구를 통해 혼합 아키텍처의 체계적 탐색이 가능했으며, 실수형과 이진 가중치 뉴런을 융합한 하이브리드 설계가 표준 벤치마크에서 뛰어난 성능을 달성할 수 있음을 입증했다.