[논문 리뷰] Reinforcement Learning in Ultracold Atom Experiments

Malte Reinschmidt, József Fortágh외 2명|arXiv (Cornell University)|2023. 06. 29.

Cold Atom Physics and Bose-Einstein Condensates인용 수 6

한 줄 요약

이 논문은 초냉각 원자 실험에서 자기광학 트랩(MOT)을 제어하기 위해 딥 강화학습(DRL)을 도입하며, 형광 영상 데이터를 입력으로 사용해 보상 함수를 통해 원자 적재 및 냉각을 최적화하는 에이전트를 훈련시킨다. 이 방법은 사전 정의된 원자 수 적재 및 고성능의 시뮬레이션에서 실제 실험으로의 전이를 가능하게 하는 적응형이고 강건한 제어를 제공한다. 데이터 기반의 MOT 시뮬레이터를 사용하여 고해상도 영상 생성이 가능하다.

ABSTRACT

Cold atom traps are at the heart of many quantum applications in science and technology. The preparation and control of atomic clouds involves complex optimization processes, that could be supported and accelerated by machine learning. In this work, we introduce reinforcement learning to cold atom experiments and demonstrate a flexible and adaptive approach to control a magneto-optical trap. Instead of following a set of predetermined rules to accomplish a specific task, the objectives are defined by a reward function. This approach not only optimizes the cooling of atoms just as an experimentalist would do, but also enables new operational modes such as the preparation of pre-defined numbers of atoms in a cloud. The machine control is trained to be robust against external perturbations and able to react to situations not seen during the training. Finally, we show that the time consuming training can be performed in-silico using a generic simulation and demonstrate successful transfer to the real world experiment.

연구 동기 및 목표

• 초냉각 원자 실험의 제어 복잡성이 증가하는 데 대응하기 위해, 특히 다중 레이저와 알칼리 금속 이외의 원소를 포함한 MOT에서의 제어 문제를 해결하고자 한다.
• 고정된 순서에 의존하는 전통적 제어 방법의 한계를 극복하고자 하며, 이는 드리프트나 외란에 대응할 수 없는 점을 포함한다.
• 실시간 피드백을 형광 영상으로부터 학습함으로써 강화학습이 MOT 성능을 최적화할 수 있음을 보여주고자 한다.
• 보상 함수를 설계하여 사전 정의된 수의 원자를 준비하는 새로운 운영 모드를 가능하게 하고자 한다.
• 물리 기반의 데이터 기반 시뮬레이터를 사용해 훈련한 RL 에이전트를 실제 실험 장치에 도입함으로써 시뮬레이션에서 실제 실험으로의 전이 성공 여부를 검증하고자 한다.

제안 방법

• RL 에이전트는 깊이 있는 Q-네트워크(DQN) 아키텍처를 사용하며, 스택된 형광 영상 데이터를 입력으로 사용하여 영상 변화에서 적재 속도와 같은 동역학을 추론할 수 있다.
• 레이저 데티uning 등의 제어 파라미터는 관측 결과와 학습된 정책에 기반해 실시간으로 조정되며, 각 타임스텝에서 행동을 수행한다(행동 반복 없음).
• 보상 함수는 흡수 영상에서 유도된 원자 수와 온도를 기반으로 정의되며, N/T 최대화나 목표 원자 수 달성 등의 목표를 포함한다.
• 물리 기반의 시뮬레이션은 원자 적재 속도 dN(Δ)과 온도 T(Δ)에 대한 사전 계산된 표를 사용하여 MOT를 모델링하며, 실험적 변동성을 시뮬레이션하기 위해 노이즈를 추가한다.
• 실제 형광 영상 데이터로 훈련된 컨volutional 신경망(CNN) 생성기로 고도로 현실적인 합성 영상을 생성하여 시뮬레이션의 훈련 정밀도를 향상시킨다.
• 에이전트는 먼저 노이즈와 외란이 포함된 시뮬레이션 환경에서 훈련된 후, 최소한의 보정을 통해 실제 실험으로 이식된다.

Figure 1: Reinforcement Learning for MOT. a Schematic illustration of the interaction between an RL agent and a MOT-system. The agent takes control (action) via dedicated control parameters, which it freely adjusts during the MOT operation. At each time step $n_{t}$ , the action is based upon the ob

실험 결과

연구 질문

• RQ1 강화학습이 실세계 초냉각 원자 실험에 효과적으로 적용되어 사전 정의된 순서를 초월한 MOT 제어 최적화를 가능하게 할 수 있는가?
• RQ2 RL 에이전트가 실험 조건의 예측 불가능한 외란과 드리프트에 대해 얼마나 잘 일반화되는가?
• RQ3 실제 영상 생성 기능을 갖춘 시뮬레이션 환경이 MOT 제어에 대해 성공적인 시뮬레이션에서 실제 실험으로의 전이를 가능하게 할 수 있는가?
• RQ4 보상 함수를 얼마나 잘 설계하여 고정된 원자 수 적재와 같은 새로운 운영 모드를 달성할 수 있는가?
• RQ5 형광 영상 데이터를 입력으로 사용할 때, 에이전트가 MOT 시스템의 복잡한 비선형 동역학을 어떻게 학습할 수 있는가?

주요 결과

• 실제 실험에 직접 훈련된 에이전트는 표준 모라스 냉각과 유사한 냉각 프로토콜을 성공적으로 학습하여 원자 적재 최적화의 효과성을 입증했다.
• 외부 외란에 대해 강건성을 확보했으며, 레이저 강도나 데티닝의 급격한 변화와 같은 예측 불가능한 조건에도 일반화 성능을 유지를 하였다.
• 보상 함수를 설계함으로써 에이전트는 사전 정의된 수의 원자를 MOT에 안정적으로 적재하는 데 성공하여 새로운 운영 모드를 실현하였다.
• 시뮬레이션에서 실제 실험으로의 전이가 성공적으로 이루어졌다: CNN로 생성된 형광 영상이 포함된 데이터 기반 시뮬레이션에서 훈련된 에이전트가 실제 실험 훈련과 유사한 성능을 보였다.
• 보상 함수에 노이즈가 포함된 dN(Δ)과 T(Δ)의 사전 계산된 표를 포함한 시뮬레이션 환경은 핵심 MOT 동역학을 정확히 반영하여 효율적인 사전 훈련을 가능하게 하였다.
• CNN 영상 생성기는 실제 영상과 유사한 외관을 가진 합성 영상을 생성하여 고정밀도의 시뮬레이션 기반 훈련을 지원하였다.

Figure 2: Evaluation of agent trained to optimize $N/T$ . a Control parameter sequence over the course of episodes with mean value (colored solid line) and standard deviation (transparent region). Data are obtained by an agent evaluated at $\Delta_{\mathrm{Offset}}=0$ . The horizontal black line ind