[논문 리뷰] Variational quantum policies for reinforcement learning.

Sofiène Jerbi, Casper Gyurik외 3명|arXiv (Cornell University)|2021. 03. 09.

Quantum Computing Algorithms and Architecture참고 문헌 45인용 수 30

한 줄 요약

이 논문은 강화학습 정책으로서 변분 양자 회로를 제안하며, 양자 정책 그래เดียน트 방법을 통해 훈련하는 것을 보여준다. 고전적 난이도 가정 하에 특정 작업에서 증명 가능한 양자 우월성을 확립하고, 벤치마크 환경에서 고전적 신경망 정책보다 실증적인 성능 향상을 보인다.

ABSTRACT

Variational quantum circuits have recently gained popularity as quantum machine learning models. While considerable effort has been invested to train them in supervised and unsupervised learning settings, relatively little attention has been given to their potential use in reinforcement learning. In this work, we leverage the understanding of quantum policy gradient algorithms in a number of ways. First, we investigate how to construct and train reinforcement learning policies based on variational quantum circuits. We propose several designs for quantum policies, provide their learning algorithms, and test their performance on classical benchmarking environments. Second, we show the existence of task environments with a provable separation in performance between quantum learning agents and any polynomial-time classical learner, conditioned on the widely-believed classical hardness of the discrete logarithm problem. We also consider more natural settings, in which we show an empirical quantum advantage of our quantum policies over standard neural-network policies. Our results constitute a first step towards establishing a practical near-term quantum advantage in a reinforcement learning setting. Additionally, we believe that some of our design choices for variational quantum policies may also be beneficial to other models based on variational quantum circuits, such as quantum classifiers and quantum regression models.

연구 동기 및 목표

• 강화학습을 위한 변분 양자 회로를 기반으로 한 양자 정책의 설계 및 훈련.
• 특정 작업 환경에서 양자 정책이 고전적 학습자보다 우월한가를 조사한다.
• 고전적 벤치마크 환경에서 표준 신경망 정책에 비해 실증적인 양자 우월성을 입증한다.
• 분류 및 회귀와 같은 다른 양자 기계학습 응용 분야로 확장 가능한 설계 원칙을 탐색한다.

제안 방법

• 강화학습에 적합한 파라미터화된 양자 회로를 기반으로 여러 양자 정책 아키텍처를 설계한다.
• 이러한 변분 양자 정책을 엔드 투 엔드로 미분 가능하게 훈련하기 위해 양자 정책 그래디언트 알고리즘을 적응시킨다.
• 파라미터 시프트 규칙과 그래디언트 추정 기법을 활용해 양자 회로 평가를 통해 정책 파라미터를 최적화한다.
• 성능을 평가하기 위해 고전적 벤치마크 환경(예: CartPole 및 MountainCar)에서 정책을 테스트한다.
• 이산 로그 문제의 고전적 난이도 가정 하에, 양자 에이전트와 고전적 다항시간 학습자 간의 이론적 성능 분리를 확립한다.
• 양자 정책의 구조적 특성과 표현 능력을 분석하여, 더 넓은 양자 기계학습 응용 분야에 유용한 설계 선택을 규명한다.

실험 결과

연구 질문

• RQ1 변분 양자 회로는 강화학습 정책으로 효과적으로 사용될 수 있으며, 효율적으로 훈련될 수 있는가?
• RQ2 어떤 작업 환경에서 양자 강화학습 에이전트가 어떤 고전적 다항시간 학습자보다 증명 가능한 성능을 확보할 수 있는가?
• RQ3 표준 벤치마크 환경에서 양자 정책은 고전적 신경망 정책에 비해 어떤 실증적 성능 향상을 달성하는가?
• RQ4 변분 양자 정책의 어떤 설계 패턴이 분류기나 회귀기와 같은 다른 양자 기계학습 모델로 일반화될 수 있는가?

주요 결과

• 논문은 이산 로그 문제의 고전적 난이도 가정 하에 특정 강화학습 작업에서 증명 가능한 양자 우월성을 입증한다.
• 실증 결과로, 양자 정책이 고전적 벤치마크 환경(예: CartPole 및 MountainCar)에서 표준 신경망 정책보다 뛰어난 성능을 보인다.
• 제안된 양자 정책 훈련 프레임워크는 양자 정책 그래디언트 방법을 사용해 효과적인 제어 정책을 성공적으로 학습한다.
• 회로 깊이 및 얽힘 구조와 같은 양자 정책 아키텍처의 설계 선택이 성능 향상에 기여하며, 다른 양자 기계학습 모델로도 일반화될 수 있다.
• 이 작업은 변분 양자 회로를 활용한 근접한 양자 우월성을 위한 기초 프레임워크를 제공한다.