[論文レビュー] Experimentally Realizing Efficient Quantum Control with Reinforcement Learning

Ming-Zhong Ai, Yongcheng Ding+8 more|arXiv (Cornell University)|Jan 22, 2021

Quantum Information and Cryptography被引用数 7

ひとこと要約

本論文は、トラップされた171Yb+イオン系において、深層強化学習（DRL）が高速でロバストかつ高忠実度の量子制御を実現できることを実験的に示している。アナログ制御や事前のSTA設計を必要とせず、短時間かつ高精度な制御性能を達成しており、アディアバティック制御への短絡的アプローチ（STA）と同等の性能を発揮する。DRLエージェントは、Rabiおよびデチューニング誤差に対して同時に耐性を持つ最適なデジタルパルスシーケンスを学習し、フェイルセーフな量子計算に向けたスケーラブルなフレームワークを提供する。

ABSTRACT

Robust and high-precision quantum control is crucial but challenging for scalable quantum computation and quantum information processing. Traditional adiabatic control suffers severe limitations on gate performance imposed by environmentally induced noise because of a quantum system's limited coherence time. In this work, we experimentally demonstrate an alternative approach {to quantum control} based on deep reinforcement learning (DRL) on a trapped $^{171}\mathrm{Yb}^{+}$ ion. In particular, we find that DRL leads to fast and robust {digital quantum operations with running time bounded by shortcuts to adiabaticity} (STA). Besides, we demonstrate that DRL's robustness against both Rabi and detuning errors can be achieved simultaneously without any input from STA. Our experiments reveal a general framework of digital quantum control, leading to a promising enhancement in quantum information processing.

研究の動機と目的

• 現在の量子コンピューティングアーキテクチャと互換性を持つスケーラブルなデジタル量子制御フレームワークの開発。
• トラップイオン系におけるアディアバティック制御の限界（長時間のゲート時間やデコherence）を克服すること。
• 短絡的アディアバティック制御（STA）技術に依存せずに、Rabiおよびデチューニング誤差の両方に対してロバストな制御を達成すること。
• 強化学習が、量子ゲート用に最適なデジタルパルスシーケンスを自律的に発見できることを示すこと。

提案手法

• 深層強化学習（DRL）エージェントは、プロキシマルポリシーオプティマイゼーション（PPO）を用いて実装され、量子ゲート操作の最適なデジタルパルスシーケンスを学習する。
• DRLエージェントは、QuTiPを用いて二準位系のダイナミクスを数値的にシミュレートする、シミュレーテッド量子環境と相互作用する。
• エージェントのポリシーは、3層の全結合ReLU活性化関数を備えた深層ニューラルネットワーク（DNN）で表現され、各層に32個のニューロンが配置されている。
• 環境はゲート忠実度に基づくスパarsな報酬を提供し、エージェントは累積割引報酬を最大化するように最適化される。
• DRLフレームワークは、TensorForceライブラリおよびTensorFlowを用いてCPU/GPU互換の環境で訓練される。
• 実験的妥当性は、蛍光検出および光子カウントを用いた状態準備と測定を伴うトラップ171Yb+イオンプラットフォームで実施された。

Figure 1: (color online) Experimental sequences and model wave-forms. (a) Optimized detuning with time under STA method. The time is normalized to $[0,1]$ . (b) Optimized detuning with time under DRL method. The time is normalized to $[0,1]$ . (c) Energy level of ${}^{171}\textrm{Yb}^{+}$ ion. (d) E

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、アナログ制御や事前のSTA設計を必要とせず、STAと同等のロバスト性を示すデジタル量子制御パルスを学習できるか？
• RQ2 Rabiおよびデチューニング誤差が同時に存在する条件下で、DRLベースの制御は従来の手法と比較してどのように性能を発揮するか？
• RQ3 制御設計における明示的な誤差補正や最適化を施さずに、DRLエージェントは高忠実度の量子ゲートに一般化できるか？
• RQ4 実際のトラップイオン量子プロセッサに実装された場合、DRLのゲート忠実度およびロバスト性の性能はどの程度か？

主な発見

• DRLエージェントは、シミュレーションにおいて99.5％を超えるゲート忠実度を達成するデジタルパルスシーケンスを成功裏に学習した。
• DRLで制御されたパルスは、明示的な誤差工学やSTAベースの設計を一切行わずに、Rabiおよびデチューニング誤差の両方に対して同時に耐性を示した。
• 本手法は、ゲート速度およびロバスト性の観点で、短絡的アディアバティック制御（STA）と同等の性能を達成したが、完全にデジタルで離散的なパルス最適化によって実現された。
• トラップ171Yb+イオン系への実験的実装により、DRLで生成された制御シーケンスの実現可能性と高忠実度が確認された。
• DRLフレームワークは、状態検出における誤認識確率を表すε_Bおよびε_Dを用いて、合計誤差率が約(ε_B + ε_D)/2に達した。
• 本アプローチは、現在の量子コンピューティングアーキテクチャとネイティブに互換性を持つ一般化可能でスケーラブルなデジタル量子制御フレームワークを提供する。

Figure 2: (color online) Noise robustness comparison of $\pi$ pulse, STA and DRL methods in single-qubit X gate task. (a) and (b) The performance of three control methods under different $\Omega$ and $\Delta$ errors respectively. The DRL method is as robust as STA method in most cases, except in big