[論文レビュー] Curriculum reinforcement learning for quantum architecture search under hardware errors

Yash J. Patel, Akash Kundu+4 more|arXiv (Cornell University)|Feb 5, 2024

Quantum Information and Cryptography被引用数 8

ひとこと要約

CRLQASは、ノイズのある量子環境での量子アーキテクチャ検索のためのカリキュラムベースの強化学習を導入し、3Dテンソル回路エンコーディング、不正な操作、ランダム停止、Adam-SPSAオプティマイザーを特徴とし、現実的なノイズ下でいくつかの分子に対して化学精度を達成する。

ABSTRACT

The key challenge in the noisy intermediate-scale quantum era is finding useful circuits compatible with current device limitations. Variational quantum algorithms (VQAs) offer a potential solution by fixing the circuit architecture and optimizing individual gate parameters in an external loop. However, parameter optimization can become intractable, and the overall performance of the algorithm depends heavily on the initially chosen circuit architecture. Several quantum architecture search (QAS) algorithms have been developed to design useful circuit architectures automatically. In the case of parameter optimization alone, noise effects have been observed to dramatically influence the performance of the optimizer and final outcomes, which is a key line of study. However, the effects of noise on the architecture search, which could be just as critical, are poorly understood. This work addresses this gap by introducing a curriculum-based reinforcement learning QAS (CRLQAS) algorithm designed to tackle challenges in realistic VQA deployment. The algorithm incorporates (i) a 3D architecture encoding and restrictions on environment dynamics to explore the search space of possible circuits efficiently, (ii) an episode halting scheme to steer the agent to find shorter circuits, and (iii) a novel variant of simultaneous perturbation stochastic approximation as an optimizer for faster convergence. To facilitate studies, we developed an optimized simulator for our algorithm, significantly improving computational efficiency in simulating noisy quantum circuits by employing the Pauli-transfer matrix formalism in the Pauli-Liouville basis. Numerical experiments focusing on quantum chemistry tasks demonstrate that CRLQAS outperforms existing QAS algorithms across several metrics in both noiseless and noisy environments.

研究の動機と目的

• VQEのためにNISQハードウェア制約下で最適化されたPQCsの自動設計を動機づける。
• カリキュラムベースRL QAS（CRLQAS）フレームワークを開発して回路空間を効率的に探索する。
• ノイズを扱い、より短くゲート効率の良い回路を促進するメカニズムを組み込む。
• Pauli転送行列とGPU加速を用いた最適化されたノイズシミュレーションパイプラインを提供する。

提案手法

• 量子回路を状態とモーメント（深さ）を表す3Dテンソルベースの2値エンコード。
• 無効なゲート列を剪定する不正な操作メカニズム。
• 短い回路へ学習を偏らせるランダム停止（RH）。
• ノイズ下での収束を高速化するための適応モメンタムと可変ショット予算を備えた2つのAdam-SPSAバリアント。
• GPU加速のオフラインPTMベースのノイズフュージョンにより、大規模ビット数までの高速ノイズシミュレーションを実現。

Figure 1: Illustration of the architecture of the double deep-Q network utilized by the reinforcement learning (RL) agent. The RL state $s$ here describes the quantum circuit encoded as a tensor-based 3D grid whose axes correspond to the qubit index, depth (moment) and gate type. This information is

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるVQAにおいてカリキュラム学習は既存の方法と比較してQASの性能をどう改善できるか？
• RQ2 ハードウェアノイズ下でコンパクトで正確なPQCsを効率的に探索するために、どのエンコーディング、アクション剪定、最適化戦略が最適か？
• RQ3 CRLQASは現実的なIBMデバイスノイズ下でベンチマーク分子の化学精度を達成できるか？
• RQ4 PTMベースの高速ノイズシミュレーションは訓練の効率とスケーラビリティにどのような影響を及ぼすか？

主な発見

• CRLQASはノイズのないVQEタスクおよびノイズ下のVQEタスクでH2（2–4 qubits）、LiH（4–6 qubits）、およびH2O（8 qubits）に対して既存のQAS手法を上回る。
• CRLQASは、いくつかの設定でより少ないゲートと浅い深さで化学精度を達成する。例としてH2-4でRHが表CLAIM文脈でエネルギー誤差をほぼ8e-8に近づける。
• 現実的なノイズ下で、CRLQASは選択した分子とノイズプロファイルに対して基底状態エネルギーを化学精度内に生成し、ベースラインと比較して回路サイズの削減を示す。
• 連続減衰とマルチステージの柔軟性を備えたAdam-SPSAバリアントは収束を加速し、関数評価回数を約半減させる。
• PTMベースのオフラインノイズフュージョンとGPU/JAXにより、訓練の最大6倍速のスピードアップを実現し、ノイズ付きシミュレーションのスケーラブル化を可能にする。

Figure 2: Achieving the chemical accuracy for $\ce{H2}$ (with $2$ -, $3$ - and $4$ -qubits), and $\ce{LiH}$ (with $4$ -qubits) molecules via a systematic study under realistic physical noise where the noise model mimics the IBM Quantum devices. In the initial episodes, the probability of choosing ra