[논문 리뷰] Transformer-QEC: Quantum Error Correction Code Decoding with Transferable Transformers

Hanrui Wang, Pengyu Liu외 6명|arXiv (Cornell University)|2023. 11. 27.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 전이 학습을 통해 훈련 비용을 10배 이상 감소시키고, 다양한 코드 거리에서 뛰어난 논리 오류율을 달성하기 위해 자기주의(self-attention)를 활용한 글로벌 심호 분석과 혼합 손실 훈련을 적용한 이식 가능한 트랜스포머 기반 양자 오류 수정 디코더인 Transformer-QEC를 제안한다. 이는 Union Find, MWPM, MLP 등 기존의 비-ML 및 기계학습 기반 디코더를 모두 능가한다.

ABSTRACT

Quantum computing has the potential to solve problems that are intractable for classical systems, yet the high error rates in contemporary quantum devices often exceed tolerable limits for useful algorithm execution. Quantum Error Correction (QEC) mitigates this by employing redundancy, distributing quantum information across multiple data qubits and utilizing syndrome qubits to monitor their states for errors. The syndromes are subsequently interpreted by a decoding algorithm to identify and correct errors in the data qubits. This task is complex due to the multiplicity of error sources affecting both data and syndrome qubits as well as syndrome extraction operations. Additionally, identical syndromes can emanate from different error sources, necessitating a decoding algorithm that evaluates syndromes collectively. Although machine learning (ML) decoders such as multi-layer perceptrons (MLPs) and convolutional neural networks (CNNs) have been proposed, they often focus on local syndrome regions and require retraining when adjusting for different code distances. We introduce a transformer-based QEC decoder which employs self-attention to achieve a global receptive field across all input syndromes. It incorporates a mixed loss training approach, combining both local physical error and global parity label losses. Moreover, the transformer architecture's inherent adaptability to variable-length inputs allows for efficient transfer learning, enabling the decoder to adapt to varying code distances without retraining. Evaluation on six code distances and ten different error configurations demonstrates that our model consistently outperforms non-ML decoders, such as Union Find (UF) and Minimum Weight Perfect Matching (MWPM), and other ML decoders, thereby achieving best logical error rates. Moreover, the transfer learning can save over 10x of training cost.

연구 동기 및 목표

• 기존의 양자 오류 수정(QEC) 디코더의 한계, 즉 제한된 수신 영역과 코드 거리 변경 시 높은 재훈련 비용을 해결하기 위해.
• 새로운 코드 거리로 다시 훈련하지 않고도 다양한 코드 거리에서 높은 정확도를 달성하는 기계학습 기반 QEC 디코더를 개발하기 위해.
• 트랜스포머 아키텍처의 유연성 덕분에 다양한 길이의 입력을 처리할 수 있도록, QEC 디코딩에서 효율적인 전이 학습을 가능하게 하기 위해.
• 자기주의 메커니즘을 통해 장거리 오류 상관관계를 모델링하여 디코딩 성능을 향상시키기 위해.
• 최신 기술 수준의 디코더와 비교해도 논리 오류율 성능을 유지하거나 향상시키면서도 훈련 오버헤드를 줄이기 위해.

제안 방법

• 모델은 3D 심호 입력(공간적 x, y 및 시간적 라운드)을 처리하기 위해 트랜스포머 인코더-디코더 아키텍처를 사용하며, 공간적 및 시간적 맥락을 유지하기 위해 3D 사인 위치 인코딩을 적용한다.
• 입력 심호 비트는 학습 가능한 토큰 임베딩으로 매핑되어, 다양한 코드 거리에서의 가변 길이 심호 시퀀스를 처리할 수 있도록 한다.
• 혼합 손실 함수는 국소 물리적 오류 손실(각 큐비트 예측)과 글로벌 패리티 레이블 손실(논리적 결과 정확성)을 결합하여 일반화 능력과 오류 탐지 신뢰도를 향상시킨다.
• 모델은 거리-5 서페이스 코드 데이터에서 사전 훈련하고, 고정된 낮은 학습률을 사용하여 전이 학습을 통해 다른 코드 거리로 미세조정한다.
• 자기주의 메커니즘은 먼 거리에 있는 심호 큐비트 간의 장거리 상관관계를 포착할 수 있게 하여 오류 체인 탐지에 핵심적인 역할을 한다.
• 디코더는 여섯 개의 코드 거리와 열 가지 오류 설정에서 평가되었으며, Union Find, MWPM, MLP 기반 디코더와의 성능 비교가 이루어졌다.

Figure 1. Transformer for error correction decoding overview. The Transformer takes syndrome inputs and processes them through both the transformer model encoder and decoder. The output of this process consists of error predictions. One notable advantage is its ability to be seamlessly applied to di

실험 결과

연구 질문

• RQ1 트랜스포머 기반 디코더는 다양한 코드 거리에서 전통적인 디코더인 Union Find와 MWPM보다 더 낮은 논리 오류율을 달성할 수 있는가?
• RQ2 한 번 사전 훈련된 모델을 완전한 재훈련 없이 다양한 코드 거리에 효과적으로 미세조정할 수 있는가? 이는 훈련 비용을 줄이는 데 기여하는가?
• RQ3 국소 및 글로벌 감독을 모두 포함하는 혼합 손실 함수의 사용이 디코딩 정확도와 일반화 능력을 향상시키는가?
• RQ4 자기주의의 글로벌 수신 영역은 CNN 및 MLP와 같은 국소 모델 대비 복잡한 오류 패턴 탐지에서 어떻게 비교되는가?
• RQ5 모델 크기와 전이 학습이 다양한 코드 거리에서 디코딩 성능 및 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Transformer-QEC는 테스트된 모든 코드 거리(3에서 10까지)와 물리적 오류율에서 가장 낮은 논리 오류율을 기록했으며, Union Find, MWPM, MLP 디코더를 모두 능가했다.
• 전이 학습 덕분에 훈련 비용을 10배 이상 감소시켰으며, 새로운 코드 거리로의 미세조정에는 단 10 에포크와 고정된 학습률만으로도 충분했다.
• 추론 실험 결과, 국소 및 글로벌 손실을 결합한 조합이 10개의 경우 중 9개에서 성능 향상을 보였으며, 글로벌 손실이 논리적 결과 정확도를 높이는 데 기여했다.
• 더 큰 모델(7.9M 파라미터)은 더 작은 모델(503K 파라미터)보다 성능이 뛰어나며, 대규모 훈련 데이터셋 덕분에 과적합의 징후가 전혀 없었다.
• 기준 MLP보다 진짜 오류(클래스 1) 탐지 정확도가 43% 높아, 심호 패턴에서 실제 오류를 더 잘 탐지함을 시사한다.
• 논리 오류율 감소의 임계점은 약 0.038이며, 이는 Transformer-QEC가 이 물리적 오류율 이하에서는 고장 내성(fault tolerance)을 유지함을 의미한다.

Figure 2. The surface code contains data qubits and two kinds of syndrome qubits. X-type syndrome qubits in green checks Z errors while Z-type syndrome qubits in yellow check X errors. When error occurs on data qubits, the nearby syndromes may be flipped depending on the parity of data qubits. When