[논문 리뷰] Machine learning engineering of quantum currents

Tobias Haug, Rainer Dumke외 3명|arXiv (Cornell University)|2019. 11. 21.

Quantum Computing Algorithms and Architecture인용 수 1

한 줄 요약

이 논문은 집중된 요소를 갖춘 고리형 양자 회로에서 고해상도의 양자 전류 상태를 설계하기 위해 딥 강화학습(DRL) 프레임워크를 제안한다. 시간에 따라 변화하는 국소 포텐셜을 최적화하도록 에이전트를 훈련시킴으로써, 이 방법은 단일 루프 및 얽힌 다중 루프 상태를 포함한 영구 전류 상태를 높은 정밀도로 준비하며, 전통적 프로토콜에 비해 정밀도와 확장성에서 뛰어나다.

ABSTRACT

The design, accurate preparation and manipulation of quantum states in quantum circuits are essential operational tasks at the heart of quantum technologies. Nowadays, circuits can be designed with physical parameters that can be controlled with unprecedented accuracy and flexibility. However, the generation of well-controlled current states is still a nagging bottleneck, especially when different circuit elements are integrated together. In this work, we show how machine learning can effectively address this challenge and outperform the current existing methods. To this end, we exploit deep reinforcement learning to prepare prescribed quantum current states in circuits composed of lumped elements. To highlight our method, we show how to engineer bosonic persistent currents as they are relevant in different quantum technologies as cold atoms and superconducting circuits. We demonstrate the use of deep reinforcement learning to re-discover established protocols, as well as solve configurations that are difficult to treat with other methods. With our approach, quantum current states characterised by a single winding number or entangled currents of multiple winding numbers can be prepared in a robust manner, superseding the existing protocols.

연구 동기 및 목표

• 복잡한 위상 또는 다수의 루프 수를 가진 시스템에서 통합된 양자 회로에서 잘 제어되는 양자 전류 상태를 생성하는 오랜 도전 과제를 해결한다.
• 기존 프로토콜이 얽힌 전류 상태를 처리하지 못하거나 비현실적인 제어 시퀀스를 요구하는 한계를 극복한다.
• 기계학습이 전통적 제어 방법보다 높은 정밀도와 내구성으로 양자 전류 상태를 준비하는 데 뛰어나다는 것을 입증한다.
• 냉각 원자 및 초전도 회로를 포함한 다양한 플랫폼에서 빠르고 확장 가능하며 유연한 제어 프로토콜의 설계를 가능하게 한다.
• 기존 및 새로운 구성에 대해 방법을 검증하며, 기존에 알려진 프로토콜을 재발견하고 이전에는 해결이 어려웠던 설정을 해결한다.

제안 방법

• 딥 강화학습(DRL)을 사용하여 인공지능 에이전트를 훈련시키며, 시간에 따라 변화하는 제어 프로토콜을 최적화한다. 이때 프록시 정책 최적화(PPO) 알고리즘을 적용한다.
• 양자 시스템을 L개의 위치로 이루어진 고리 격자로 모델링하며, 이격된 시간 단계 tn에서 각 위치에 조절 가능한 국소 포텐셜 Pm(t)를 설정한다. 각 위치에는 보존 입자가 존재한다.
• 과거 포텐셜 시퀀스를 포함한 상태 s(tn)를 입력으로 사용하는 딥 신경망을 통해 정책 네트워크를 통해 다음 단계의 포텐셜 Pm(tn)을 출력한다.
• 보상 함수를 ⟨Ψ|Ô|Ψ⟩로 정의하며, Ô는 목표 전류 상태를 측정하는 관측 가능량이다. 이를 통해 에이전트는 최적의 제어 시퀀스를 학습할 수 있다.
• 기대 향후 보상 값을 추정하기 위해 크리틱 네트워크를 구현함으로써, 가치 기반 부트스트랩을 통한 안정적인 훈련을 가능하게 한다.
• 재생 버퍼를 사용하여 전이(상태, 행동, 보상, 다음 상태)를 저장하고 샘플링함으로써, 다수의 훈련 에포크 동안 효율적이고 안정적인 정책 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 집중된 요소를 갖춘 고리형 양자 회로에서 고해상도의 양자 전류 상태를 효과적으로 생성할 수 있는가?
• RQ2 DRL 프레임워크는 알려진 영구 전류 제어 프로토콜을 재발견하여 그 신뢰성을 검증할 수 있는가?
• RQ3 기존 제어 기법으로는 구현이 불가능한 다중 루프 수를 가진 얽힌 전류 상태를 이 방법이 준비할 수 있는가?
• RQ4 입자 수, 상호작용 강도, 프로토콜 지속 시간 등의 시스템 매개변수 변화에 대해 DRL 기반 프로토콜은 얼마나 내구성이 있는가?
• RQ5 냉각 원자 및 초전도 회로를 포함한 다양한 물리 플랫폼으로 이 방법을 얼마나 일반화할 수 있는가?

주요 결과

• DRL 프레임워크는 단일 루프 영구 전류를 위한 기존에 알려진 프로토콜을 성공적으로 재발견하여, 알려진 물리적 해와의 일관성을 확인했다.
• 복잡한 구성 조건에서도 20회의 반복 실행 동안 평균 정밀도가 0.95를 초과하는 고정밀도의 양자 전류 상태 준비를 달성했다.
• Np = 3개의 입자와 L = 12개의 위치를 가진 시스템에서, 프로토콜 지속 시간(NT = 4에서 12까지)이 변화하더라도 높은 성능 유지를 보였으며, 정밀도는 0.85 이상 유지되었다.
• 이 프레임워크는 기존 제어 방법으로는 접근이 불가능한 다중 루프 수를 가진 얽힌 전류 상태의 준비를 가능하게 하였다.
• 알고리즘은 상호작용 강도 U와 프로토콜 지속 시간 T의 변화에 대해 매우 낮은 성능 저하를 보이며 내구성을 입증하였다.
• 재생 버퍼와 PPO 알고리즘의 사용으로 1000 에포크 이내에 안정적인 수렴이 이루어졌으며, 정밀도가 훈련 반복 과정에서 점진적으로 증가했다.