[논문 리뷰] QSAN: A Near-term Achievable Quantum Self-Attention Network

Jinjing Shi, Ren-Xin Zhao외 3명|arXiv (Cornell University)|2022. 07. 14.

Quantum Computing Algorithms and Architecture인용 수 9

한 줄 요약

이 논문은 NISQ 장치에서 자기주의를 한 번의 단계로 완전히 양자적으로 구현할 수 있도록 Quantum Logic Similarity(QLS)와 Quantum Bit Self-Attention Score Matrix(QBSASM)를 활용하는 근접한 양자 자기주의 네트워크인 QSAN을 제안한다. MNIST 이진 분류에서 100%의 정확도를 달성하였으며, 하드웨어 효율적 아나자와 QAOA 아나자보다 각각 1.7배와 2.3배 빠르게 수렴하고, 측정 오버헤드가 감소하였다.

ABSTRACT

Self-Attention Mechanism (SAM) is good at capturing the internal connections of features and greatly improves the performance of machine learning models, espeacially requiring efficient characterization and feature extraction of high-dimensional data. A novel Quantum Self-Attention Network (QSAN) is proposed for image classification tasks on near-term quantum devices. First, a Quantum Self-Attention Mechanism (QSAM) including Quantum Logic Similarity (QLS) and Quantum Bit Self-Attention Score Matrix (QBSASM) is explored as the theoretical basis of QSAN to enhance the data representation of SAM. QLS is employed to prevent measurements from obtaining inner products to allow QSAN to be fully implemented on quantum computers, and QBSASM as a result of the evolution of QSAN to produce a density matrix that effectively reflects the attention distribution of the output. Then, the framework for one-step realization and quantum circuits of QSAN are designed for fully considering the compression of the measurement times to acquire QBSASM in the intermediate process, in which a quantum coordinate prototype is introduced as well in the quantum circuit for describing the mathematical relation between the output and control bits to facilitate programming. Ultimately, the method comparision and binary classification experiments on MNIST with the pennylane platform demonstrate that QSAN converges about 1.7x and 2.3x faster than hardware-efficient ansatz and QAOA ansatz respevtively with similar parameter configurations and 100% prediction accuracy, which indicates it has a better learning capability. QSAN is quite suitable for fast and in-depth analysis of the primary and secondary relationships of image and other data, which has great potential for applications of quantum computer vision from the perspective of enhancing the information extraction ability of models.

연구 동기 및 목표

• 노이즈가 많은 중규모 양자(NISQ) 장치에 적합한 완전히 양자 기반으로 배포 가능한 자기주의 메커니즘을 개발하는 것.
• 하이브리드 양자-고전적 자기주의 모델의 한계를 극복하기 위해, 주어진 단일 단계 내에서 주어진 주의 점수와 출력을 완전히 양자 계산하는 것.
• 회로 실행 중 고전적 데이터 추출을 최소화하여 양자 주의 모델의 측정 오버헤드를 줄이는 것.
• 상태 공간과 유사도 계산에서의 양자 우월성을 활용하여 고차원 데이터의 데이터 표현 및 특징 추출을 향상시키는 것.
• 미래의 양자 신경망을 위한 프로그래머블한 구조를 갖춘 확장 가능하고 정규화된 양자 회로 아키텍처를 설계하는 것.

제안 방법

• 대규모 얽힌 상태 준비를 피하고 직접 측정 기반의 유사도 평가를 가능하게 하기 위해 고전적 내적 곱 계산을 대체하기 위해 양자 논리 유사도(QLS)를 도입한다.
• 양자 진화 중 전체 주의 분포를 인코딩하는 밀도 행렬 표현으로서 양자 비트 자기주의 점수 행렬(QBSASM)을 제안한다.
• 최소한의 측정 횟수를 최적화하기 위해 다섯 가지 功能 모듈과 구분되는 아홉 단계로 구성된 QSAN을 위한 완전한 양자 회로 프레임워크를 설계한다.
• 제어-출력 비트 관계를 수학적으로 기술하기 위해 양자 좌표 프로토타입을 통합하여 체계적인 프로그래밍과 잠재적 최적화를 가능하게 한다.
• 근접한 장치의 실현 가능성을 유지하기 위해 입력 데이터에 대해 앰플리튜드 및 앵글 인코딩을 사용하고, 단일 층 아나자를 적용한다.
• PennyLane 플랫폼을 사용하여 QSAN을 MNIST 이진 분류 작업에 구현하고 벤치마킹한다.

실험 결과

연구 질문

• RQ1 고전적 후처리에 의존하지 않고도 근접한 양자 하드웨어에서 완전히 양자 자기주의 메커니즘을 실현할 수 있는가?
• RQ2 상태 표현과 유사도 계산에서의 양자 우월성을 어떻게 활용하여 자기주의 메커니즘의 효율성을 향상시킬 수 있는가?
• RQ3 회로 수준 최적화를 통해 양자 주의 모델에서 측정 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 기존의 변량 양자 모델보다 양자 자기주의 네트워크가 이미지 분류 작업에서 더 빠른 수렴과 더 높은 정확도를 달성할 수 있는가?
• RQ5 QBSASM 밀도 행렬의 구조는 양자 주의 분포를 어떻게 반영하고 확장 가능한 정보 추출을 어떻게 가능하게 하는가?

주요 결과

• QSAN은 기준 모델과 유사한 매개변수 설정으로 MNIST 이진 분류 작업에서 훈련 및 테스트 정확도 모두 100%를 달성하였다.
• 동일한 실험 설정 하에서 QSAN은 하드웨어 효율적 아나자보다 약 1.7배, QAOA 아나자보다 약 2.3배 더 빠르게 수렴하였다.
• QSAN의 손실 함수 값은 전체 훈련 기간 내내 낮게 유지되어 더 강력한 학습 능력과 더 효과적인 최적화를 나타내었다.
• QBSASM 밀도 행렬은 힐베르트 공간에서 고차원적 구조를 보이며, 고전적으로 시뮬레이션하기 어려운 지수적 정보 표현 능력을 입증하였다.
• QSAN의 수렴 속도는 배치 크기에 민감하여, 15에서 20으로 증가할수록 성능 저하가 발생함을 보여, 배치 크기와 훈련 역학 사이의 상충 관계가 있음을 시사하였다.
• QSAN 프레임워크는 확장 가능하며, 고전적 또는 양자 기반 기계 학습 아키텍처에 통합될 수 있어 양자 강화 트랜스포머의 길을 열어준다.