[논문 리뷰] Reinforcement Learning to Autonomously Prepare Floquet-Engineered States: Inverting the Quantum Kapitza Oscillator

Marin Bukov|arXiv (Cornell University)|2018. 08. 27.

Neural Networks and Reservoir Computing인용 수 1

한 줄 요약

이 논문은 모델리스 강화학습(Q-학습)이 소음과 시스템에 대한 사전 지식 없이도 강하게 구동되는 양자 카피차 온도에서 안정된 역전 상태를 자율적으로 준비할 수 있음을 보여준다. 이는 몇 번의 진동 주기 내에 제어를 달성함으로써 가능해지며, 특히 주기 내 동역학(micromotion)을 활용함으로써 중간 주파수에서의 스트로보스코픽 제어를 능가한다.

ABSTRACT

I demonstrate the potential of reinforcement learning (RL) to prepare quantum states of strongly periodically driven non-linear single-particle models. The ability of Q-Learning to control systems far away from equilibrium is exhibited by steering the quantum Kapitza oscillator to the Floquet-engineered stable inverted position in the presence of a strong periodic drive within several shaking cycles. The study reveals the potential of the intra-period (micromotion) dynamics, often neglected in Floquet engineering, to take advantage over pure stroboscopic control at moderate drive frequencies. Without any knowledge about the underlying physical system, the algorithm is capable of learning solely from tried protocols and directly from simulated noisy quantum measurement data, and is stable to noise in the initial state, and sources of random failure events in the control sequence. Model-free RL can provide new insights into automating experimental setups for out-of-equilibrium systems undergoing complex dynamics, with potential applications in quantum information, quantum optics, ultracold atoms, trapped ions, and condensed matter.

연구 동기 및 목표

• 강하게 구동되고 비선형적인 단일 입자 시스템에서 비평형 양자 상태를 준비하기 위한 제어 전략을 개발하기 위해.
• 모델리스 강화학습이 시스템의 동역학에 대한 사전 지식 없이도 효과적인 제어 프로토콜을 학습할 수 있는지 조사하기 위해.
• 기존의 스트로보스코픽 접근 방식과 비교할 때 주기 내 동역학(micromotion) 동역학이 제어 성능 향상에 기여하는 정도를 평가하기 위해.
• 초기 상태의 노이즈와 제어 시퀀스에서의 무작위 실패 사례에 대한 강건성을 평가하기 위해.
• 초냉각 원자, 트랩된 이온, 양자 정보 응용 분야에서 비평형 양자 시스템의 자율적이고 데이터 기반의 제어를 가능하게 하기 위해.

제안 방법

• 모델리스 Q-학습 알고리즘은 시뮬레이션된 노이즈가 섞인 양자 측정 데이터를 보상 신호로 사용하여 훈련된다.
• 알고리즘은 시스템 모델이 필요 없이 시스템과의 시행착오적 상호작용을 통해 직접 제어 프로토콜을 학습한다.
• 제어 조작은 주기 내 시간 스케일에서 수행되어 스트로보스코픽 평균 뿐 아니라 마이크로모션 동역학을 모두 반영한다.
• 이 방법은 마이크로모션 효과가 무시할 수 없고 활용 가능한 중간 주파수에서 작동한다.
• 학습 중에 초기 상태의 노이즈와 제어 시퀀스의 무작위 실패 사례를 도입하여 강건성을 테스트한다.
• 학습 과정은 관측된 측정 결과와 피드백에만 의존하는 완전한 엔드 투 엔드 방식이다.

실험 결과

연구 질문

• RQ1 모델리스 강화학습이 시스템에 대한 사전 지식 없이도 강하게 구동되는 양자 카피차 온도에서 안정된 역전 상태를 자율적으로 준비할 수 있는가?
• RQ2 주기 내 동역학을 포함함으로써 스트로보스코픽 제어에 비해 제어 성능이 어떻게 향상되는가?
• RQ3 초기 양자 상태의 노이즈와 제어 시퀀스의 무작위 실패 사례에 대해 RL 기반 제어가 얼마나 강건한가?
• RQ4 강하게 구동되는 양자 시스템에서 노이즈가 섞인 시뮬레이션된 측정 데이터로부터 RL이 효과적으로 학습할 수 있는가?
• RQ5 중간 주파수에서 플로케트 엔지니어링에 마이크로모션 동역학을 사용할 경우 성능 향상은 어느 정도인가?

주요 결과

• Q-학습 에이전트는 몇 번의 흔들림 주기 내에 양자 카피차 온도를 안정된 역전 위치로 이끌어내어 빠르고 효과적인 제어를 실현했다.
• 중간 주파수에서 주기 내 마이크로모션 동역학을 활용함으로써 이 알고리즘이 스트로보스코픽 방법보다 뛰어난 제어 성능을 달성했다.
• 초기 상태의 노이즈와 제어 시퀀스의 무작위 실패 사례에 대해 강건성을 유지하여 실용적 타당성을 보였다.
• 기본 해밀토니안이나 시스템 모델에 대한 지식 없이도 시뮬레이션된 노이즈가 섞인 측정 데이터로부터 효과적인 제어 프로토콜을 학습했다.
• 기존의 플로케트 엔지니어링에서 무시되는 경향이 있었던 마이크로모션 동역학이 제어 자원으로 활용될 수 있음을 입증했다.
• 모델리스 강화학습은 비평형 양자 시스템에서 복잡한 제어 작업을 자동화하는 실현 가능한 길을 제공한다.