[논문 리뷰] Realizing a deep reinforcement learning agent discovering real-time feedback control strategies for a quantum system

Kevin Reuer, Jonas Landgraf외 11명|arXiv (Cornell University)|2022. 10. 30.

Advancements in Semiconductor Devices and Circuit Design인용 수 5

한 줄 요약

이 논문은 초전도 큐비트의 피드백 제어 전략을 사전 시스템 모델 없이 탐색하기 위해 FPGA에 구현된 실시간 딥 강화학습 에이전트를 제시한다. 모델에 의존하지 않는 강화학습을 실험 측정 데이터에 적용하여, 에이전트는 30,000회 미만의 학습 에피소드로 3분 이내에 고정밀 큐비트 초기화를 달성하며, 양자 피드백 시스템에 대해 1마이크로초 이하의 지연을 실현한다.

ABSTRACT

To realize the full potential of quantum technologies, finding good strategies to control quantum information processing devices in real time becomes increasingly important. Usually these strategies require a precise understanding of the device itself, which is generally not available. Model-free reinforcement learning circumvents this need by discovering control strategies from scratch without relying on an accurate description of the quantum system. Furthermore, important tasks like state preparation, gate teleportation and error correction need feedback at time scales much shorter than the coherence time, which for superconducting circuits is in the microsecond range. Developing and training a deep reinforcement learning agent able to operate in this real-time feedback regime has been an open challenge. Here, we have implemented such an agent in the form of a latency-optimized deep neural network on a field-programmable gate array (FPGA). We demonstrate its use to efficiently initialize a superconducting qubit into a target state. To train the agent, we use model-free reinforcement learning that is based solely on measurement data. We study the agent's performance for strong and weak measurements, and for three-level readout, and compare with simple strategies based on thresholding. This demonstration motivates further research towards adoption of reinforcement learning for real-time feedback control of quantum devices and more generally any physical system requiring learnable low-latency feedback control.

연구 동기 및 목표

• 초전도 큐비트에 대해 마이크로초 수준의 시간스케일에서 작동하는 실시간 피드백 제어 시스템을 개발하는 것.
• 정확한 모델이 없는 양자 시스템을 제어하는 과제를 모델에 의존하지 않는 강화학습을 통해 극복하는 것.
• 실시간 제어 중에 실시간 추론을 가능하게 하기 위해 FPGA에 저지연 딥 신경망을 구현하는 것.
• 실험 데이터에 직접적으로 강화학습 에이전트를 학습시켜 큐비트 상태 초기화를 위한 가능성을 입증하는 것.
• 강한 측정과 약한 측정 조건, 그리고 3레벨 읽기 시나리오에서 기준 기반 전략과의 성능 비교를 수행하는 것.

제안 방법

• 에이전트의 정책 πθ(a|s)가 학습 가능한 매개변수 θ를 가진 딥 신경망으로 모델링된 정책-기반 강화학습 프레임워크를 사용한다.
• 에이전트는 실시간으로 측정 결과 s를 처리하고, 누적 보상 R을 최대화하기 위해 제어 조치 a(플러시)를 선택한다.
• 지연 최적화된 신경망 아키텍처가 현장 프로그래밍 가능한 게이트 어레이(FPGA)에 구현되어 마이크로초 이하의 추론 및 피드백 지연을 가능하게 한다.
• 학습은 실험 데이터에 직접 수행되며, 각 에피소드 후에 온라인 강화학습을 통해 네트워크 가중치가 갱신된다.
• 에이전트는 측정 → 추론 → 조치 → 보상 수령 → 정책 갱신의 루프를 순환한다.
• 이 방법은 강한 측정과 약한 측정 조건 모두를 지원하며, 상태 초기화를 위한 3레벨(qutrit) 시스템으로도 확장된다.

실험 결과

연구 질문

• RQ1 모델에 의존하지 않는 강화학습 에이전트가 마이크로초 이하의 지연을 갖는 초전도 큐비트에 대해 실시간 피드백 제어를 달성할 수 있는가?
• RQ2 초기화 정밀도와 속도 측면에서 기준 기반 전략과 비교해 에이전트의 성능은 어떠한가?
• RQ3 재학습 없이도 약한 측정과 다중레벨 시스템(qutrits)으로 일반화할 수 있는가?
• RQ4 실험 데이터에 직접 학습시켰을 때 에이전트의 수렴 속도와 데이터 효율성은 어떠한가?
• RQ5 다양한 측정 강도와 시스템 노이즈 조건에서 에이전트가 학습한 정책의 강건성은 어떠한가?

주요 결과

• 강화학습 에이전트는 30,000회 미만의 학습 에피소드로 3분 이내의 월클록 시간 내에 수렴을 달성하였다.
• 에이전트는 강한 측정 및 약한 측정 조건 모두에서 기준 기반 전략을 뛰어넘는 높은 초기화 정밀도를 보였다.
• 에이전트는 3레벨 시스템(qutrit)의 초기화를 위한 제어 전략을 성공적으로 학습하여, 이중레벨 시스템을 초월한 적응성을 입증하였다.
• FPGA 기반 구현은 마이크로초 이하의 지연을 달성하여 양자 얽힘 유지에 필요한 시간스케일에서 실시간 피드백 제어를 가능하게 하였다.
• 학습 과정에서 에이전트의 성능은 안정적으로 향상되었으며, 누적 보상과 상태 정밀도 지표에서 명확한 수렴이 관찰되었다.
• 이 방법은 정확한 시스템 모델이나 시뮬레이션 없이도 실험 데이터에 직접 모델에 의존하지 않는 학습을 가능하게 하였다.