[논문 리뷰] Quantum Architecture Search via Continual Reinforcement Learning

Esther Ye, Samuel Yen-Chi Chen|arXiv (Cornell University)|2021. 12. 10.

Quantum Computing Algorithms and Architecture인용 수 12

한 줄 요약

이 논문은 다양한 노이즈 조건에서 양자 회로 아키텍처 탐색을 자동화하기 위해 확률적 정책 재사용을 통한 딥 Q-러닝(PPR-DQL)을 제안한다. 기존에 학습된 정책을 재사용하고 새로운 환경에 적응함으로써, 처음부터 학습하는 것보다 더 빠른 수렴과 향상된 성능을 달성하여 이중 큐비트 벨 상태 생성에 성공한다.

ABSTRACT

Quantum computing has promised significant improvement in solving difficult computational tasks over classical computers. Designing quantum circuits for practical use, however, is not a trivial objective and requires expert-level knowledge. To aid this endeavor, this paper proposes a machine learning-based method to construct quantum circuit architectures. Previous works have demonstrated that classical deep reinforcement learning (DRL) algorithms can successfully construct quantum circuit architectures without encoded physics knowledge. However, these DRL-based works are not generalizable to settings with changing device noises, thus requiring considerable amounts of training resources to keep the RL models up-to-date. With this in mind, we incorporated continual learning to enhance the performance of our algorithm. In this paper, we present the Probabilistic Policy Reuse with deep Q-learning (PPR-DQL) framework to tackle this circuit design challenge. By conducting numerical simulations over various noise patterns, we demonstrate that the RL agent with PPR was able to find the quantum gate sequence to generate the two-qubit Bell state faster than the agent that was trained from scratch. The proposed framework is general and can be applied to other quantum gate synthesis or control problems -- including the automatic calibration of quantum devices.

연구 동기 및 목표

• NISQ 장치에서 최적의 양자 회로를 설계하는 과제를 해결하기 위해 전문 지식이 필요하고 노이즈에 민감한 문제를 다루기 위해.
• 변경되는 노이즈 환경 간의 일반화 능력이 부족한 이전의 딥 강화학습(DRL) 방법의 한계를 극복하기 위해.
• 초기 학습부터 다시 시작하지 않고도 새로운 노이즈 패턴에 적응할 수 있는 일반화 가능한 양자 게이트 시퀀스 합성 프레임워크를 개발하기 위해.
• 지속적인 정책 적응을 통해 노이즈가 있는 양자 시스템에서 실시간 자율 보정을 가능하게 하기 위해.
• 지속적 학습을 양자 제어 및 회로 설계 문제, 특히 벨 상태 준비를 넘어서 적용할 수 있는 가능성을 입증하기 위해.

제안 방법

• 새로운 노이즈 환경에 직면했을 때 이전에 학습된 정책을 활용할 수 있도록 확률적 정책 재사용(PPR)을 통합한 딥 Q-러닝 에이전트를 도입한다.
• 확률 임계치 ψ를 사용한 하이브리드 탐색 전략을 구현하여 과거 정책( Li )을 활용하는 것과 새로운 정책( L0 )을 탐색하는 것 사이의 균형을 맞춘다.
• 온도 파rameter τ를 사용한 볼츠만 정책 선택 전략을 적용하여 라이브러리에서 고성능 정책을 동적으로 우선순위 정렬한다.
• 학습 안정성 향상과 수렴 개선을 위해 딥 Q-러닝 구성 요소에서 타겟 네트워크 업데이트 메커니즘(비율 T)을 적용한다.
• 과거 경험을 저장하고 샘플링하기 위한 오프-폴리시 학습을 위해 전이 튜플 (st, at, rt, st+1)의 리플레이 메모리 D를 유지한다.
• 누적 보상과 선택 빈도를 추적하여 정책 라이브러리를 업데이트함으로써, 에이전트가 시간이 지남에 따라 정책 선택을 적응적으로 개선할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 지속적 강화학습은 NISQ 장치에서 변화하는 노이즈 패턴 간의 양자 아키텍처 탐색 에이전트의 일반화 능력을 향상시킬 수 있는가?
• RQ2 초기 학습부터 다시 시작하는 것과 비교해 볼 때, 정책 재사용은 양자 게이트 시퀀스 합성에서 학습 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 단일 RL 에이전트가 치명적인 잊힘 없이 새로운 노이즈 환경에 얼마나 잘 적응할 수 있는가?
• RQ4 제안된 프레임워크는 벨 상태 생성을 넘어서 다른 양자 제어 및 캘리브레이션 작업으로 일반화될 수 있는가?
• RQ5 동적 탐색 전략(예: π-탐색)은 양자 회로의 지속적 학습에서 정책 선택과 성능에 어떤 영향을 미치는가?

주요 결과

• PPR-DQL 에이전트는 특히 예측되지 않은 노이즈 패턴에서 이중 큐비트 벨 상태 생성에 있어 처음부터 학습하는 것보다 더 빠른 수렴을 달성했다.
• 정책 재사용은 높은 성능에 도달하기 위해 필요한 학습 에피소드 수를 크게 줄여 샘플 효율성 향상을 입증했다.
• 다양한 노이즈 환경에서 뛰어난 성능을 유지하여 기기 조건 변화에 대한 강력한 일반화 능력을 보였다.
• 에이전트는 새로운 환경에서 학습을 가속화하기 위해 이전에 학습된 정책을 성공적으로 활용하여, 양자 제어에서 지속적 학습의 효과성을 확인했다.
• 확률적 정책 재사용 메커니즘이 안정적이고 적응적인 정책 선택을 가능하게 하여, 지속적 적응 과정에서 치명적인 잊힘의 위험을 감소시켰다.
• 수치 시뮬레이션을 통해 PPR-DQL 프레임워크가 일반화 가능하며, 자율 장치 캘리브레이션을 포함한 다른 양자 게이트 합성 및 제어 문제에도 적용 가능함을 확인했다.