[논문 리뷰] Machine Learning Meets Quantum State Preparation. The Phase Diagram of Quantum Control

Marin Bukov, Alexandre G. R. Day외 4명|arXiv (Cornell University)|2017. 05. 01.

Advanced Thermodynamics and Statistical Mechanics인용 수 4

한 줄 요약

이 논문은 상호작용하는 큐비트로 이루어진 비통합 다체계에서, 시뮬레이션에서 유도된 단일 피드백 지표만을 사용하여 고급 강화학습(RL)을 적용하여 양자 상태 준비를 최적화한다. 이는 제어 프로토콜 공간에서 스핀 거친 유사 전이를 드러내며, 특히 지수적으로 어려운 영역에서도 RL이 거의 최적의 편의도를 달성할 수 있음을 보여준다. 전통적 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The ability to prepare a physical system in a desired quantum state is central to many areas of physics such as nuclear magnetic resonance, cold atoms, and quantum computing. Yet, preparing states quickly and with high fidelity remains a formidable challenge. In this work we implement cutting-edge Reinforcement Learning (RL) techniques and show that their performance is comparable to optimal control methods in the task of finding short, high-fidelity driving protocol from an initial to a target state in non-integrable many-body quantum systems of interacting qubits. RL methods learn about the underlying physical system solely through a single scalar reward (the fidelity of the resulting state) calculated from numerical simulations of the physical system. We further show that quantum state manipulation, viewed as an optimization problem, exhibits a spin-glass-like phase transition in the space of protocols as a function of the protocol duration. Our RL-aided approach helps identify variational protocols with nearly optimal fidelity, even in the glassy phase, where optimal state manipulation is exponentially hard. This study highlights the potential usefulness of RL for applications in out-of-equilibrium quantum physics.

연구 동기 및 목표

• 상호작용하는 큐비트로 이루어진 비통합 다체계에서 빠르고 고정밀도의 양자 상태 준비 문제를 해결하기 위해.
• 강화학습이 시스템의 동역학에 대한 사전 지식 없이도 효율적으로 최적의 제어 프로토콜을 발견할 수 있는지 조사하기 위해.
• 스핀 거친 전이와 유사한 제어 프로토콜 공간에서의 전이가 존재하는지 탐색하기 위해.
• 최적 제어가 지수적으로 어려워지는 영역에서도 거의 최적의 편의도를 갖는 변분 프로토콜을 식별하기 위해.

제안 방법

• 수치 시뮬레이션을 통해 유도된 상태 편의도에서 유도된 스칼라 보상 전용으로 훈련된 딥 강화학습 에이전트를 사용한다.
• 시간에 따라 변화하는 시스템 해밀토니안의 구동 프로토콜을 생성하기 위해 연속적 제어 정책 네트워크를 사용한다.
• 제어 프로토콜 공간을 매핑하여 고/저 편의도 영역을 식별하고, 스핀 거친 시스템과 유사한 전이를 드러낸다.
• 최적화가 지수적으로 어려운 유리한 영역에서도 고편의도 시퀀스를 식별하기 위해 변분 프로토콜 탐색을 적용한다.
• 다양한 시스템 크기와 상호작용 강도에서 프로토콜 지속 시간과 편의도 측면에서 최적 제어 방법과 RL 성능을 비교 평가한다.
• 통계적 측도를 통해 프로토콜 민감도와 에너지 장면의 거칠기 분석을 통해 제어 장면의 구조를 분석하여 유리한 행동의 발생 원인을 탐지한다.

실험 결과

연구 질문

• RQ1 강화학습은 시스템의 사전 지식 없이도 비통합 다체계에서 고편의도 제어 프로토콜을 발견할 수 있는가?
• RQ2 양자 제어 프로토콜 공간은 스핀 거친 시스템과 유사한 전이를 보이며, 만약 그렇다면 최적화의 어려움에 어떤 영향을 미치는가?
• RQ3 프로토콜 지속 시간과 편의도 측면에서 RL의 성능은 최적 제어 방법과 비교해 어떻게 되는가?
• RQ4 최적화가 지수적으로 어려운 유리한 영역에서도 RL은 거의 최적의 편의도를 갖는 변분 프로토콜을 식별할 수 있는가?
• RQ5 양자 상태 준비에서 유리한 행동의 발생과 관련된 제어 장면의 구조적 특징은 무엇인가?

주요 결과

• 강화학습은 상호작용하는 큐비트로 이루어진 복잡한 비통합 다체계에서도 최적 제어 방법과 유사한 상태 준비 편의도를 달성한다.
• 제어 프로토콜 공간에서 스핀 거친 유사 전이가 확인되었으며, 이는 최적 상태 조작이 지수적으로 어려워지는 영역을 나타낸다.
• 유리한 영역는 프로토콜 지속 시간의 함수로 나타나며, 임계 지속 시간 임계값에서 최적화의 어려움이 급격히 증가한다.
• RL은 최적화가 지수적으로 어려운 유리한 영역에서도 거의 최적의 편의도를 갖는 변분 프로토콜을 성공적으로 식별하여 정확한 방법이 실패하는 상황에서도 강건함을 보였다.
• RL의 성능는 다양한 시스템 크기와 상호작용 강도에서 뛰어나, 다양한 양자 시스템에 일반화 가능함을 시사한다.
• 단일 편의도 보상만으로도 RL이 효과적인 제어 전략을 학습할 수 있음을 입증하여, 이 방법의 데이터 효율성과 실용성을 강조한다.