[논문 리뷰] Quixer: A Quantum Transformer Model

Nikhil Khatri, Gabriel Matos외 2명|arXiv (Cornell University)|2024. 06. 06.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

Quixer는 선형 유니터리 조합(LCU)과 양자 특이값 변환(QSVT)을 활용하여 학습 가능하고 비선형적인 어텐션 메커니즘을 구현하는 새로운 양자 트랜스포머 모델을 제안한다. 이 모델은 고전적 시뮬레이션 환경에서 펜 트리뱅크 데이터셋에서 경쟁력 있는 언어 모델링 성능를 달성하였으며, 실질적인 자연어 처리(NLP) 작업에 양자 트랜스포머를 적용한 최초의 사례로 기록된다.

ABSTRACT

Progress in the realisation of reliable large-scale quantum computers has motivated research into the design of quantum machine learning models. We present Quixer: a novel quantum transformer model which utilises the Linear Combination of Unitaries and Quantum Singular Value Transform primitives as building blocks. Quixer operates by preparing a superposition of tokens and applying a trainable non-linear transformation to this mix. We present the first results for a quantum transformer model applied to a practical language modelling task, obtaining results competitive with an equivalent classical baseline. In addition, we include resource estimates for evaluating the model on quantum hardware, and provide an open-source implementation for classical simulation. We conclude by highlighting the generality of Quixer, showing that its parameterised components can be substituted with fixed structures to yield new classes of quantum transformers.

연구 동기 및 목표

• 양자 알고리즘 원리를 활용하여 효율적인 토큰 혼합을 수행할 수 있는 양자 트랜스포머 아키텍처를 설계하기.
• 실제 언어 모델링 작업, 예를 들어 펜 트리뱅크 데이터셋에 양자 모델을 적용할 수 있는 가능성을 입증하기.
• 모델의 고전적 시뮬레이션을 위한 자원 추정과 오픈소스 구현을 제공하기.
• 모델의 파라미터화된 구성 요소를 고정된 구조로 교체할 수 있음을 보여주어 Quixer를 유연한 프레임워크로 정립하기.

제안 방법

• 모델는 입력 토큰을 양자 진폭으로 인코딩하기 위해 선형 유니터리 조합(LCU) 절차를 사용하여 토큰 유니터리의 초위상 상태를 준비한다.
• 이 초위상 상태에 대해 학습 가능한 다항함수를 단위각 회전에 인코딩한 양자 특이값 변환(QSVT)을 적용하여 비선형 변환을 가능하게 한다.
• 토큰 임베딩은 파라미터화된 양자 회로(PQC)를 파arameterize하는 각도로 매핑되며, 이후 LCU와 QSVT 절차를 통해 유니터리 변환된다.
• 최종 양자 상태는 다수의 관측 가능량을 사용하여 측정되며, 그 기대값은 고전적으로 처리되어 모델의 출력을 생성한다.
• 다양한 데이터 인코딩을 사용하여 QSVT 및 LCU 회로를 반복함으로써 모델 아키텍처는 다층 확장이 가능하다.
• 학습 가능한 구성 요소(예: 다항식 계수 또는 유니터리 구조)를 고정된 것으로 교체할 수 있어 새로운 양자 트랜스포머 유형을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 LCU와 QSVT 원리를 기반으로 한 양자 트랜스포머 모델이 표준 언어 모델링 벤치마크에서 경쟁력 있는 성능를 달성할 수 있는가?
• RQ2 고전적 시뮬레이션 환경에서 Quixer의 성능가 펜 트리뱅크 데이터셋에서 고전적 트랜스포머 기준선과 비교해 어떻게 되는가?
• RQ3 근접한 양자 하드웨어에서 Quixer를 평가할 때 자원 요구량과 성공 확률은 어떻게 되는가?
• RQ4 학습 가능한 구성 요소를 고정된 구조로 교체함으로써 Quixer를 일반화하여 새로운 유형의 양자 트랜스포머 클래스를 도출할 수 있는가?
• RQ5 양자 트랜스포머 모델에서 모델의 표현력, 기울기 크기, 고전적 시뮬레이션 가능성 사이의 상충 관계는 어떠한가?

주요 결과

• Quixer는 고전적 시뮬레이션 환경에서 훈련 및 평가할 경우 펜 트리뱅크 데이터셋에서 고전적 트랜스포머 기준선과 경쟁 가능한 언어 모델링 성능를 달성한다.
• 모델은 실질적인 언어 모델링 작업에 양자 트랜스포머를 적용한 첫 성공 사례를 보여주며, 양자 NLP의 개념적 타당성을 입증한다.
• 자원 추정 결과에 따르면 모델의 성공 확률은 시스템 크기에 따라 스케일링되며, 10개의 랜덤 시드에 대해 후보 선택 성공 확률이 분석되었으며 평균값과 극단값이 보고되었다.
• 모델 아키텍처는 매우 확장 가능하다: 다항식 계수나 유니터리 구조를 고정함으로써 Quixer는 새로운 양자 트랜스포머 유형을 생성할 수 있으며, 특정 선택을 통해 양자 볼츠만 기계를 복원할 수도 있다.
• 다양한 데이터 인코딩을 사용하여 QSVT 및 LCU 회로를 반복함으로써 모델은 다층 아키텍처를 지원하며, 더 깊은 구조를 구현할 수 있다.
• 다소 유망한 결과에도 불구하고, 모델는 기울기 소멸과 높은 파라미터 수로 인해 근접한 장치에서의 확장성에 어려움을 겪을 수 있다.