[논문 리뷰] Deep reinforcement learning for quantum Hamiltonian engineering

Pai Peng, Xiaoyang Huang외 4명|arXiv (Cornell University)|2021. 02. 25.

Quantum many-body systems인용 수 4

한 줄 요약

이 논문은 고체 상태 NMR 플랫폼에서 시뮬레이션과 실험을 통해 기존의 Cory48와 같은 전통적인 시퀀스보다 우수한 성능을 보이며, 스핀-1/2 시스템의 디커플링을 위한 최적의 양자 해밀토니안 공 ing 시퀀스를 발견하기 위해 딥 강화학습(DRL) 프레임워크를 제안한다. 이 방법은 실제 불완전성 하에서 강건한 펄스 시퀀스를 학습하며, 이전에 알려지지 않은 대칭적 제어 패턴을 드러내어 체계적인 시퀀스 최적화와 더불어 장시간 스케일에서의 향상된 정밀도를 가능하게 한다.

ABSTRACT

Engineering desired Hamiltonian in quantum many-body systems is essential for applications such as quantum simulation, computation and sensing. Conventional quantum Hamiltonian engineering sequences are designed using human intuition based on perturbation theory, which may not describe the optimal solution and is unable to accommodate complex experimental imperfections. Here we numerically search for Hamiltonian engineering sequences using deep reinforcement learning (DRL) techniques and experimentally demonstrate that they outperform celebrated sequences on a solid-state nuclear magnetic resonance quantum simulator. As an example, we aim at decoupling strongly-interacting spin-1/2 systems. We train DRL agents in the presence of different experimental imperfections and verify robustness of the output sequences both in simulations and experiments. Surprisingly, many of the learned sequences exhibit a common pattern that had not been discovered before, to our knowledge, but has an meaningful analytical description. We can thus restrict the searching space based on this control pattern, allowing to search for longer sequences, ultimately leading to sequences that are robust against dominant imperfections in our experiments. Our results not only demonstrate a general method for quantum Hamiltonian engineering, but also highlight the importance of combining black-box artificial intelligence with understanding of physical system in order to realize experimentally feasible applications.

연구 동기 및 목표

• 다체 시스템의 최적 양자 제어 시퀀스 설계에서 직관 기반 및 섭동 방법의 한계를 극복하기 위해.
• 복잡한 실험적 불완전성과 비통합 동역학을 다룰 수 있는 모델 프리, 데이터 기반 접근법을 개발하기 위해.
• 실제 고체 상태 NMR 시스템에서 DRL로 학습된 시퀀스의 실험적 타당성과 우수성을 입증하기 위해.
• 학습된 시퀀스에 숨겨진 구조적 패턴을 밝혀내어 체계적인 연장 및 주요 불완전성에 대한 강건성을 가능하게 하기 위해.

제안 방법

• 딥 강화학습 에이전트는 두극자 상호작용이 존재하는 시뮬레이션된 스핀-1/2 시스템에서 목표 진화(예: 디커플링)의 허용도를 최대화하는 펄스 시퀀스를 생성하도록 훈련된다.
• DRL 에이전트는 마르코프 결정 과정에서 작동하며, 상태는 현재 스핀 시스템의 진화를 표현하고, 행동은 특정 펄스(예: x, y축을 따라 π/2 회전 등)를 적용하는 것을 의미한다.
• 환경 시뮬레이터는 각 행동 이후 시간 진화 연산자(전파자)를 계산하고, 에이전트는 목표 정체 진화에 대한 허용도 기반으로 조밀한 보상을 수신한다.
• 에이전트는 각각의 실험적 불완전성(예: 각도 오차, 드리프트 등) 하에서 훈련되어 강건성을 확보하며, 결과로 얻어진 시퀀스는 시뮬레이션과 300 MHz NMR 분광계에서 검증된다.
• 훈련 후 대칭 기반 분석을 적용하여 공통적인 구조적 패턴(예: z축 회전 불변성과 거울 대칭을 갖는 대칭적 펄스 시퀀스)을 식별하고 활용함으로써 시퀀스 연장 및 고차 오차 상쇄를 가능하게 한다.
• 평균 해밀토니안 이론(AHT)을 활용하여 학습된 시퀀스를 분석적으로 검증하고 개선하며, 특히 시퀀스의 대칭성과 단계 이동을 통해 제로차 및 제1차 오차 항을 상쇄시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 강한 상호작용을 갖는 스핀 시스템의 디커플링에서 전통적으로 설계된 시퀀스를 능가하는 양자 제어 시퀀스를 발견할 수 있는가?
• RQ2 DRL은 각도 오차 및 드리프트와 같은 실제 실험적 불완전성에 강건한 시퀀스를 생성하도록 어떻게 훈련할 수 있는가?
• RQ3 DRL로 학습된 시퀀스는 분석적 이해와 시퀀스 연장에 활용할 수 있는 숨겨진 구조적 패턴을 보이는가?
• RQ4 블랙박스 AI와 물리적 통찰력의 조합은 더 효율적이고 실험적으로 구현 가능한 양자 제어 프로토콜을 이끌 수 있는가?

주요 결과

• DRL로 학습된 yxx48 시퀀스는 칼슘 플루오르화물과 플루오르apatite에서 시뮬레이션과 실험 모두에서 벤치마크인 Cory48 시퀀스를 능가하며, 장기적인 허용도가 뛰어나다.
• 다이아몬드 분말에서의 실험에서, yxx48 시퀀스는 짧은 시간에는 Cory48와 동등한 성능을 보이며, 장시간에 걸쳐서는 이를 능가하여 더 뛰어난 강건성을 입증한다.
• yxx24 및 yxx48 시퀀스는 128 사이클 동안 높은 허용도를 유지하는 것으로 실험적으로 검증되었으며, yxx48 시퀀스는 초반에 낮은 허용도를 보였음에도 불구하고 안정적인 성능를 유지한다.
• DRL로 학습된 시퀀스에서 이전에 알려지지 않은 대칭적 제어 패턴—z축의 회전 불변성과 거울 대칭을 특징으로 하는 패턴—이 발견되어 분석적 시퀀스 연장이 가능해졌다.
• Angle12 시퀀스의 특정 펄스에 π 단계 이동을 적용함으로써 제로차 평균 해밀토니안이 상쇄되며, 이는 개선된 오차 억제 성능을 가진 수정된 Angle12 시퀀스를 도출한다.
• 대칭화되고 수정된 Angle12 시퀀스는 π 단계 이동을 포함한 두 배로 복제될 때, 제로차 및 제1차 평균 해밀토니안이 소멸하는 yxx24 시퀀스를 생성하며, 이는 고차 오차 억제 성능이 뛰어남을 확인한다.