[논문 리뷰] Self-Correcting Quantum Many-Body Control using Reinforcement Learning with Tensor Networks

Friederike Metz, Marin Bukov|arXiv (Cornell University)|2022. 01. 27.

Quantum many-body systems인용 수 4

한 줄 요약

이 논문은 양자 다체계를 효율적이고 확장 가능한 방식으로 제어할 수 있도록 행렬 곱 상태(MPS)를 사용하는 강화학습(RL) 프레임워크를 제안한다. 양자 상태와 RL 에이전트의 정책을 모두 텐서 네트워크(QMPS)로 표현함으로써, 시스템 크기와 선형적으로 스케일링되며, 이전에 순수한 신경망으로는 불가능했던 더 큰 1차원 시스템을 제어할 수 있다. 또한 동적 환경에서 노이즈에 강건하고 자가 보정 기능을 갖춘다.

ABSTRACT

Quantum many-body control is a central milestone en route to harnessing quantum technologies. However, the exponential growth of the Hilbert space dimension with the number of qubits makes it challenging to classically simulate quantum many-body systems and consequently, to devise reliable and robust optimal control protocols. Here, we present a novel framework for efficiently controlling quantum many-body systems based on reinforcement learning (RL). We tackle the quantum control problem by leveraging matrix product states (i) for representing the many-body state and, (ii) as part of the trainable machine learning architecture for our RL agent. The framework is applied to prepare ground states of the quantum Ising chain, including states in the critical region. It allows us to control systems far larger than neural-network-only architectures permit, while retaining the advantages of deep learning algorithms, such as generalizability and trainable robustness to noise. In particular, we demonstrate that RL agents are capable of finding universal controls, of learning how to optimally steer previously unseen many-body states, and of adapting control protocols on-the-fly when the quantum dynamics is subject to stochastic perturbations. Furthermore, we map the QMPS framework to a hybrid quantum-classical algorithm that can be performed on noisy intermediate-scale quantum devices and test it under the presence of experimentally relevant sources of noise.

연구 동기 및 목표

• 힐베르트 공간의 성장으로 인한 지수적 스케일링 문제를 해결하기 위해, 양자 다체계의 시뮬레이션과 제어에 있어 도전 과제를 해결한다.
• 정확한 대각화 방법을 초월해 큰 1차원 양자 시스템을 제어할 수 있는 강화학습 에이전트를 개발한다.
• 행렬 곱 상태(MPS)를 RL 아키텍처에 통합하여 효율적이고 확장 가능한 정책 학습을 가능하게 한다.
• 스토케스틱 노이즈와 공명 게이트 오류에 대한 제어 프로토콜의 강건성을 입증한다.
• NISQ 장치에 적합한 하이브리드 양자-고전 알고리즘으로 프레임워크를 매핑한다.

제안 방법

• 1차원 시스템의 효율적 시뮬레이션을 위해 면적 법칙에 따라 얽힘을 가지는 시스템에 대해 행렬 곱 상태(MPS)를 사용해 양자 상태를 표현한다.
• RL 에이전트의 정책은 하이브리드 MPS-신경망 아키텍처(QMPS)로 구현되며, 여기서 MPS의 구조가 상태-행동 가치 함수를 인코딩한다.
• 가능성 기반 강화학습을 사용하며, Q-값은 미분 가능한 MPS 표현을 통해 계산되어 텐서 네트워크를 거쳐 역전파가 가능하다.
• 이 방법은 일반적인 딥 RL의 양자 제어 한계를 크게 초월해 최대 128 큐비트 시스템에서도 학습이 가능하다.
• 하이브리드 양자-고전 구현 방식을 설계하여, 양자 회로가 허점도 및 기울기를 샘플링하고, 고전적 네트워크가 정책을 업데이트한다.
• 실제 노이즈 모델, 즉 분해산, 진폭/위상 감쇠, 공명 게이트 오류 등을 고려한 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 MPS 기반으로 훈련된 강화학습 에이전트는 기존의 딥러닝 접근 방식보다 더 큰 양자 다체계를 제어할 수 있는가?
• RQ2 QMPS 아키텍처는 이징 모델의 다양한 상에서 고체 상태를 준비할 때 높은 허점도와 일반화 능력을 유지할 수 있는가?
• RQ3 스토케스틱 외란이나 노이즈가 있는 양자 역학적 동역학에서 에이전트는 어떻게 적응하고 자가 보정하는가?
• RQ4 노이즈가 있는 중간 규모 양자(NISQ) 장치에서 실질적인 노이즈 모델을 적용했을 때 QMPS 프레임워크는 어느 정도까지 실행 가능한가?
• RQ5 표준 신경망과 비교해 RL 정책 아키텍처에 텐서 네트워크를 사용할 경우 노이즈에 대한 강건성이 향상되는가?

주요 결과

• QMPS 프레임워크는 128 큐비트까지의 1차원 횡방향 및 혼합장 이징 모델의 기저 상태를 허점도 0.99 초과로 성공적으로 준비한다.
• 각 허점도 평가에서 최소 500회의 측정 샘플만으로도 거의 단위 성공률(100%에 가까움)을 달성하여 샘플링 노이즈에 강건함을 입증한다.
• 진폭 및 위상 감쇠 노이즈 하에서도 높은 성능 유지를 유지하며, 오차율이 10⁻³ 이하일 경우 성공률가 거의 단위에 가까운 성능을 기록한다.
• 공명 게이트 오류 하에서 QMPS 에이전트는 프로토콜을 자가 보정하며, 각도 노이즈의 표준편차 σ < 0.5 범위에서 성공률을 유지한다.
• 결합 차원 χ=2인 절단된 QMPS는 χ=4보다 유의미하게 열등한 성능을 보이며, 이는 텐서 네트워크 내 충분한 얽힘 용량이 필요함을 확인한다.
• 하이브리드 양자-고전 구현은 NISQ 장치에서의 실행 가능성을 보장하며, 이상적인 조건에서 10⁴회 측정 이내에 수렴하는 성능을 보인다.