[논문 리뷰] Curriculum-based Deep Reinforcement Learning for Quantum Control

Hailan Ma, Daoyi Dong외 2명|arXiv (Cornell University)|2020. 12. 31.

Quantum Information and Cryptography인용 수 5

한 줄 요약

이 논문은 제어 정밀도 기준으로 작업을 순서화하여 점진적으로 어려움을 증가시키는 커리큘럼 기반 딥 강화학습(CDRL) 프레임워크를 제안한다. 서로 다른 작업 간 지식 전이를 통해 CDRL은 표준 DRL 방법에 비해 더 빠른 수렴 속도, 더 높은 제어 정밀도, 더 적은 제어 펄스를 달성하며, 닫힘 및 열린 양자 시스템 모두에서 뛰어난 성능을 보여준다.

ABSTRACT

Deep reinforcement learning has been recognized as an efficient technique to design optimal strategies for different complex systems without prior knowledge of the control landscape. To achieve a fast and precise control for quantum systems, we propose a novel deep reinforcement learning approach by constructing a curriculum consisting of a set of intermediate tasks defined by a fidelity threshold. Tasks among a curriculum can be statically determined using empirical knowledge or adaptively generated with the learning process. By transferring knowledge between two successive tasks and sequencing tasks according to their difficulties, the proposed curriculum-based deep reinforcement learning (CDRL) method enables the agent to focus on easy tasks in the early stage, then move onto difficult tasks, and eventually approaches the final task. Numerical simulations on closed quantum systems and open quantum systems demonstrate that the proposed method exhibits improved control performance for quantum systems and also provides an efficient way to identify optimal strategies with fewer control pulses.

연구 동기 및 목표

• 복잡한 양자 제어를 위한 딥 강화학습(DRL)에서의 느린 수렴과 희박한 보상 문제를 해결하기 위해.
• 고차원 동역학과 고분산을 포함한 양자 시스템에서 학습 효율성과 제어 성능을 향상시키기 위해.
• 고정밀도 양자 조작을 달성하기 위해 필요한 제어 펄스 수를 줄이기 위해.
• 커리큘럼 학습을 통해 DRL을 위한 양자 시스템의 작업 난이도를 체계화하는 방법을 탐색하기 위해.
• 양자 제어 과제에서 전통적인 DRL, 기울기 강하(GD), 유전 알고리즘(GA) 기준선을 능가하기 위해.

제안 방법

• 증가하는 정밀도 기준으로 정의된 중간 작업의 집합을 사용하여 커리큘럼을 구성하며, 이는 난이도 지표로 기능한다.
• 낮은 정밀도에서 높은 정밀도로 작업을 순서화하여, 에이전트가 복잡한 작업을 다루기 전에 간단한 제어 전략을 학습할 수 있도록 한다.
• 공유된 정책 네트워크를 통해 연속된 작업 간 지식 전이를 촉진하여 샘플 효율성과 수렴 속도를 향상시킨다.
• DRL 에이전트는 상태의 진화와 정밀도에 기반한 희박한 보상 신호로부터 제어 정책을 학습하기 위해 딥 Q네트워크(DQN) 아키텍처를 사용한다.
• 커리큘럼은 경험 지식을 사용하여 정적롭게 정의되거나, 학습 진행 상황에 따라 훈련 중에 적응적으로 생성된다.
• 이 방법은 다양한 시간 지속 및 제어 필드 제약 조건을 가진 닫힘 및 열린 4레벨 양자 시스템에서 평가된다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습은 양자 제어에서 DRL의 샘플 효율성과 수렴 속도를 향상시킬 수 있는가?
• RQ2 정밀도가 증가하는 순서로 작업을 순서화하면 더 나은 제어 성능와 더 적은 제어 펄스 수를 달성할 수 있는가?
• RQ3 CDRL은 고정밀도 양자 상태 준비를 달성하는 데 있어 표준 DRL, 기울기 강하(GD), 및 유전 알고리즘(GA)과 비교해 어떻게 성능을 냈는가?
• RQ4 CDRL은 희박한 보상과 복잡한 동역학을 포함한 열린 양자 시스템의 과제를 효과적으로 다룰 수 있는가?
• RQ5 커리큘럼 기반 훈련은 고정밀도 조작을 위해 필요한 제어 펄스 수를 얼마나 줄일 수 있는가?

주요 결과

• CDRL은 4레벨 열린 양자 시스템에서 모든 테스트 시간 지속 동안 DRL-1과 DRL-2보다 더 높은 최종 제어 정밀도를 달성한다.
• 수치 시뮬레이션에서 평균 에피소드 단계 수가 낮아짐을 통해, CDRL은 고정밀도에 도달하기 위해 필요한 제어 펄스 수를 줄였다.
• 시간 지속이 증가함에 따라 CDRL은 높은 성능을 유지하지만, DRL-1과 DRL-2는 성능 저하가 심각하게 나타난다.
• 제어 정밀도와 수렴 속도 측면에서 CDRL은 기울기 강하(GD)와 유전 알고리즘(GA)을 능가한다.
• CDRL의 평균 보상은 일관되게 높고 수평선에 가까운 수준을 유지하여 안정적이고 효율적인 학습을 나타낸다.
• CDRL은 특히 희박한 보상 조건에서 닫힘 및 열린 양자 시스템 모두에서 강력한 내구성과 효율성을 보여준다.