[論文レビュー] Transformer-QEC: Quantum Error Correction Code Decoding with Transferable Transformers

Hanrui Wang, Pengyu Liu+6 more|arXiv (Cornell University)|Nov 27, 2023

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

本稿では、自己注意機構を用いて全般的なシンディーム解析を実現し、混合損失学習により複数のコード距離で優れた論理エラー率を達成する、転移可能なトランスフォーマー型量子誤り訂正デコーダー「Transformer-QEC」を提案する。転移学習により学習コストを10倍以上削減し、Union Find や MWPM、MLP などの非MLおよび既存のMLデコーダーを上回る性能を発揮する。

ABSTRACT

Quantum computing has the potential to solve problems that are intractable for classical systems, yet the high error rates in contemporary quantum devices often exceed tolerable limits for useful algorithm execution. Quantum Error Correction (QEC) mitigates this by employing redundancy, distributing quantum information across multiple data qubits and utilizing syndrome qubits to monitor their states for errors. The syndromes are subsequently interpreted by a decoding algorithm to identify and correct errors in the data qubits. This task is complex due to the multiplicity of error sources affecting both data and syndrome qubits as well as syndrome extraction operations. Additionally, identical syndromes can emanate from different error sources, necessitating a decoding algorithm that evaluates syndromes collectively. Although machine learning (ML) decoders such as multi-layer perceptrons (MLPs) and convolutional neural networks (CNNs) have been proposed, they often focus on local syndrome regions and require retraining when adjusting for different code distances. We introduce a transformer-based QEC decoder which employs self-attention to achieve a global receptive field across all input syndromes. It incorporates a mixed loss training approach, combining both local physical error and global parity label losses. Moreover, the transformer architecture's inherent adaptability to variable-length inputs allows for efficient transfer learning, enabling the decoder to adapt to varying code distances without retraining. Evaluation on six code distances and ten different error configurations demonstrates that our model consistently outperforms non-ML decoders, such as Union Find (UF) and Minimum Weight Perfect Matching (MWPM), and other ML decoders, thereby achieving best logical error rates. Moreover, the transfer learning can save over 10x of training cost.

研究の動機と目的

• 既存の量子誤り訂正（QEC）デコーダーの限界、すなわち受容 field の制限と、コード距離を変更する際の高い再訓練コストを解消すること。
• 再訓練を完全に再開することなく、さまざまなコード距離で高い精度を達成できる機械学習ベースの QEC デコーダーを開発すること。
• トランスフォーマー・アーキテクチャの柔軟性を活用して、可変長の入力を処理できるようにすることで、QEC デコーディングにおける効率的な転移学習を可能にすること。
• 自己注意メカニズムにより長距離の誤り相関をモデル化することで、デコーディング性能を向上させること。
• 最先端のデコーダーと同等またはそれ以上の論理エラー率性能を維持しながら、学習オーバーヘッドを低減すること。

提案手法

• モデルは 3D シンディーム入力を（空間的 x, y と時間的ラウンド）処理するためのトランスフォーマー エンコーダ-デコーダー アーキテクチャを採用し、3D 正弦波位置エンコーディングを用いて空間的および時間的文脈を保持する。
• 入力シンディーム ビットは学習可能なトークン埋め込みに変換され、異なるコード距離における可変長のシンディーム シーケンスを処理できるようにする。
• 局所的物理的誤り損失（1キュービットあたりの予測）とグローバルなパリティラベル損失（論理的出力の正しさ）を組み合わせた混合損失関数を採用し、一般化性能と誤り検出の信頼性を向上させる。
• モデルは距離5のサーフェスコードのデータで事前学習され、固定で低い値の学習率を用いた転移学習により、他のコード距離向けに微調整される。
• 自己注意機構により、遠く離れたシンディームキュービット間の長距離相関を捉えることができ、誤りチェーンの検出に不可欠である。
• デコーダーは6つのコード距離と10の誤り設定で評価され、Union Find、MWPM、MLP ベースのデコーダーと性能を比較した。

Figure 1. Transformer for error correction decoding overview. The Transformer takes syndrome inputs and processes them through both the transformer model encoder and decoder. The output of this process consists of error predictions. One notable advantage is its ability to be seamlessly applied to di

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー型デコーダーは、複数のコード距離にわたり、Union Find や MWPM といった古典的デコーダーを上回る論理エラー率を達成できるか？
• RQ2 完全な再トレーニングなしに、1つの事前学習済みモデルを異なるコード距離に効果的に微調整できるか？ これにより学習コストが削減されるか？
• RQ3 局所的およびグローバルな監視を組み合わせた混合損失関数の使用が、デコーディング精度と一般化性能を向上させるか？
• RQ4 自己注意のグローバルな受容フィールドは、CNN や MLP のような局所的モデルと比較して、複雑な誤りパターンの検出にどの程度優れているか？
• RQ5 モデルサイズと転移学習の影響は、コード距離を越えてデコーディング性能と一般化に及ぼすか？

主な発見

• Transformer-QEC は、3から10までの全コード距離および物理的誤り率において、最も低い論理エラー率を達成し、Union Find、MWPM、MLP デコーダーを上回った。
• 転移学習により学習コストを10倍以上削減し、新しいコード距離への微調整にはたった10エポックと固定学習率で十分であった。
• アブレーションスタディの結果、局所的およびグローバル損失を組み合わせることで10件中9件のケースで性能が向上し、特にグローバル損失が論理的出力の正確性を向上させた。
• より大きなモデル（790万パラメータ）は、より小さなモデル（50万3千パラメータ）を上回ったが、大規模なトレーニングデータのおかげで過学習の兆候は見られなかった。
• ベースラインのMLPより43%高い真陽性適合率（クラス1）を達成し、シンディームパターンにおける実際の誤りの検出能力が優れていることが示された。
• 論理エラー率の低下の閾値は約0.038であり、これはTransformer-QECがこの物理的誤り率までフェイルセーフを維持できることを示している。

Figure 2. The surface code contains data qubits and two kinds of syndrome qubits. X-type syndrome qubits in green checks Z errors while Z-type syndrome qubits in yellow check X errors. When error occurs on data qubits, the nearby syndromes may be flipped depending on the parity of data qubits. When