[논문 리뷰] Experimentally Realizing Efficient Quantum Control with Reinforcement Learning

Ming-Zhong Ai, Yongcheng Ding외 8명|arXiv (Cornell University)|2021. 01. 22.

Quantum Information and Cryptography인용 수 7

한 줄 요약

이 논문은 트랩된 171Yb+ 이온 시스템에서 딥 강화학습(DRL)이 아날로그 제어나 사전 STA 설계 없이도 빠르고 강건하며 고정밀도의 양자 제어를 가능하게 함을 실험적으로 입증한다. DRL 에이전트는 동시에 라비 및 디테이닝 오차에 강건한 최적의 디지털 펄스 시퀀스를 학습하여, 고장내성 양자 컴퓨팅을 위한 확장 가능한 프레임워크를 제공한다.

ABSTRACT

Robust and high-precision quantum control is crucial but challenging for scalable quantum computation and quantum information processing. Traditional adiabatic control suffers severe limitations on gate performance imposed by environmentally induced noise because of a quantum system's limited coherence time. In this work, we experimentally demonstrate an alternative approach {to quantum control} based on deep reinforcement learning (DRL) on a trapped $^{171}\mathrm{Yb}^{+}$ ion. In particular, we find that DRL leads to fast and robust {digital quantum operations with running time bounded by shortcuts to adiabaticity} (STA). Besides, we demonstrate that DRL's robustness against both Rabi and detuning errors can be achieved simultaneously without any input from STA. Our experiments reveal a general framework of digital quantum control, leading to a promising enhancement in quantum information processing.

연구 동기 및 목표

• 현재의 양자 컴퓨팅 아키텍처와 호환되는 확장 가능한 디지털 양자 제어 프레임워크를 개발하는 것.
• 트랩된 이온 시스템에서 아디아바틱 제어의 한계, 즉 긴 게이트 시간과 디코herence 문제를 해결하는 것.
• 단순한 아디아바틱성에 대한 단서(Shortcut to Adiabaticity, STA) 기법 없이도 라비 및 디테이닝 오차에 강건한 제어를 달성하는 것.
• 강화학습이 자율적으로 최적의 디지털 펄스 시퀀스를 발견할 수 있음을 보여주는 것.

제안 방법

• 딥 강화학습(DRL) 에이전트는 Proximal Policy Optimization(PPO)를 통해 구현되어, 양자 게이트 운영을 위한 최적의 디지털 펄스 시퀀스를 학습한다.
• DRL 에이전트는 QuTiP를 사용하여 수치적으로 이중준위 시스템의 동역학을 시뮬레이션하는 시뮬레이션된 양자 환경과 상호작용한다.
• 에이전트의 정책은 32개의 뉴런을 가진 3개의 완전히 연결된 ReLU 활성화 함수를 가진 은닉층을 가진 딥 신경망(DNN)으로 표현된다.
• 환경은 게이트 편의도에 기반한 희박한 보상을 제공하며, 에이전트는 누적 할인 보상 최대화를 목표로 한다.
• DRL 프레임워크는 TensorForce 라이브러리와 TensorFlow를 사용하여 CPU/GPU 호환 환경에서 훈련된다.
• 실험적 검증은 광학 트랩된 171Yb+ 이온 플랫폼에서 수행되었으며, 광학 형광 검출 및 광자 수세기 방법을 통해 상태 준비 및 측정이 이루어졌다.

Figure 1: (color online) Experimental sequences and model wave-forms. (a) Optimized detuning with time under STA method. The time is normalized to $[0,1]$ . (b) Optimized detuning with time under DRL method. The time is normalized to $[0,1]$ . (c) Energy level of ${}^{171}\textrm{Yb}^{+}$ ion. (d) E

실험 결과

연구 질문

• RQ1 딥 강화학습은 아날로그 제어나 사전 STA 설계 없이도, STA에 준하는 강건성을 갖춘 디지털 양자 제어 펄스를 학습할 수 있는가?
• RQ2 기존 방법과 비교해 볼 때, DRL 기반 제어는 동시에 라비 및 디테이닝 오차가 존재하는 조건에서 어떻게 성능을 발휘하는가?
• RQ3 DRL 에이전트는 제어 설계에서 명시적인 오차 보정이나 최적화 없이도 고정밀도 양자 게이트로 일반화할 수 있는가?
• RQ4 실제 트랩된 이온 양자 프로세서에 구현되었을 때, DRL의 게이트 편의도 및 강건성 성능은 어떠한가?

주요 결과

• DRL 에이전트는 시뮬레이션에서 99.5%를 초과하는 게이트 편의도를 달성하는 고정밀도 양자 게이트를 위한 디지털 펄스 시퀀스를 성공적으로 학습하였다.
• DRL로 제어된 펄스는 아날로그 제어나 사전 오차 설계 없이도 동시에 라비 및 디테이닝 오차에 강건함을 입증하였다.
• 순수한 디지털이고 이산적인 펄스 최적화를 통해, 아날로그 제어의 속도 및 강건성 성능과 유사한 성능을 달성하였다.
• 실제 트랩된 171Yb+ 이온 시스템에서의 실험적 구현을 통해 DRL로 생성된 제어 시퀀스의 실현 가능성과 고정밀도를 확인하였다.
• DRL 프레임워크는 ε_B 및 ε_D가 각각 상태 검출에서 오인식 확률을 나타내며, 총 오류율 약 (ε_B + ε_D)/2를 달성하였다.
• 이 방법은 현재의 양자 컴퓨팅 아키텍처와 자연스럽게 호환되는 일반적이고 확장 가능한 디지털 양자 제어 프레임워크를 제공한다.

Figure 2: (color online) Noise robustness comparison of $\pi$ pulse, STA and DRL methods in single-qubit X gate task. (a) and (b) The performance of three control methods under different $\Omega$ and $\Delta$ errors respectively. The DRL method is as robust as STA method in most cases, except in big