[논문 리뷰] Parametrized Quantum Policies for Reinforcement Learning

Sofiène Jerbi, Casper Gyurik외 3명|arXiv (Cornell University)|2021. 03. 09.

Quantum Computing Algorithms and Architecture인용 수 10

한 줄 요약

이 논문은 파라미터화된 양자 회로(PQC)를 정책으로 사용하는 하이브리드 양자-고전적 강화학습 프레임워크를 제안하며, 표준 OpenAI Gym 환경에서 효과적인 학습을 보이며, 고전적으로 어려운 이산 로그 문제 기반 작업에서 공식적인 양자 우월성을 입증한다. 저자는 PQCs가 고전적 모델, 특히 최첨단 딥 네URAL 네트워크와 같은 모델이 해결할 수 없는 일부 강화학습 작업을 해결할 수 있음을 증명한다. 이는 널리 수용된 복잡도 이론적 가정 하에 성립한다.

ABSTRACT

With the advent of real-world quantum computing, the idea that parametrized quantum computations can be used as hypothesis families in a quantum-classical machine learning system is gaining increasing traction. Such hybrid systems have already shown the potential to tackle real-world tasks in supervised and generative learning, and recent works have established their provable advantages in special artificial tasks. Yet, in the case of reinforcement learning, which is arguably most challenging and where learning boosts would be extremely valuable, no proposal has been successful in solving even standard benchmarking tasks, nor in showing a theoretical learning advantage over classical algorithms. In this work, we achieve both. We propose a hybrid quantum-classical reinforcement learning model using very few qubits, which we show can be effectively trained to solve several standard benchmarking environments. Moreover, we demonstrate, and formally prove, the ability of parametrized quantum circuits to solve certain learning tasks that are intractable to classical models, including current state-of-art deep neural networks,<br> under the widely-believed classical hardness of the discrete logarithm problem.

연구 동기 및 목표

• 표준 벤치마크 환경에서 성공적인 양자 강화학습 모델의 부족을 해결하기 위해.
• 파라미터화된 양자 회로(PQC)가 고전적 모델이 해결할 수 없는 강화학습 작업을 해결할 수 있음을 입증하기 위해.
• 이산 로그 문제의 고전적 난이도가 성립할 경우, PQC가 고전적 학습자(딥 네URAL 네트워크 포함)보다 공식적인 학습 우위를 확보할 수 있음을 확립하기 위해.
• REINFORCE와 같은 고전적 정책 그래เดียน트 방법을 통해 훈련되는 PQC 정책을 사용한 양자 강화된 RL 프레임워크를 설계하기 위해.
• OpenAI Gym 환경에서 수치적으로 접근을 검증하고, 이산 로그 문제 기반으로 증명 가능한 어려운 강화학습 작업을 구성하기 위해.

제안 방법

• 저자는 정책 πθ(a|s)를 파라미터화된 양자 회로(PQC)로 구현한 하이브리드 양자-고전적 강화학습 에이전트를 설계하며, 정책 파라미터 θ는 REINFORCE와 같은 고전적 정책 그래디언트 알고리즘을 통해 최적화된다.
• 표현력 향상과 소형 양자 하드웨어에서의 효과적 훈련을 위해, 훈련 가능한 관측값 가중치와 입력 스케일링 파라미터를 갖춘 데이터 재업로드 회로를 활용한다.
• 양자 처리 장치(QPUs)를 사용해 PQC와 그 그래디언트 ∇θ log πθ를 평가함으로써, 양자 정책의 엔드 투 엔드 미분 가능 훈련을 가능하게 한다.
• 이론적 분석을 통해 이산 로그 문제(DLP) 기반의 강화학습 환경을 구성하며, DLP의 난이도를 보상 구조에 통합함으로써, PQC 정책과 어떤 효율적 고전적 학습자 간의 성능 격차가 증명 가능함을 입증한다.
• 최적화 과정의 성공 확률에 대한 확률적 경계를 유도하며, 높은 확률(1−δ)로 학습된 정책이 DLP 기반 작업을 높은 정확도로 해결할 수 있음을 보여준다.
• 이산 로그 문제의 고전적 난이도가 성립할 경우, 어떤 효율적 고전적 학습자도 PQC 정책의 성능을 따라잡을 수 없음을 공식적으로 증명함으로써, 이론적 양자 우월성을 확립한다.

실험 결과

연구 질문

• RQ1 파라미터화된 양자 회로(PQC)는 OpenAI Gym과 같은 표준 강화학습 환경에서 정책으로 효과적으로 훈련될 수 있는가?
• RQ2 강화학습에서 PQC를 사용할 경우, 특정 작업에서 고전적 딥 네URAL 네트워크 정책에 비해 측정 가능한 학습 우위를 제공하는가?
• RQ3 이산 로그 문제의 고전적 난이도가 성립할 경우, PQC는 고전적 모델이 증명적으로 해결할 수 없는 강화학습 작업을 해결할 수 있는가?
• RQ4 데이터 재업로드, 관측값 가중치 등 PQC 아키텍처의 어떤 설계 선택이 강화학습에서의 훈련 성능과 수렴에 크게 영향을 미치는가?
• RQ5 이산 로그 문제와 같이 고전적으로 어려운 문제로 문제를 환원함으로써, 강화학습에서 공식적인 양자 우월성을 입증할 수 있는가?

주요 결과

• 제안된 PQC 기반 정책은 CartPole 및 FrozenLake와 같은 표준 OpenAI Gym 벤치마크에서 기존 딥 네URAL 네트워크 정책과 유사한 성능을 달성한다.
• 이 방법은 몇 개의 큐비트만으로도 PQC 정책을 성공적으로 훈련시켜, 근접한 양자 하드웨어에서의 실현 가능성을 입증한다.
• 저자는 이산 로그 문제(DLP) 기반의 강화학습 환경을 구성하였으며, 여기서 PQC는 높은 확률로 작업을 해결할 수 있지만, 고전적 모델은 그렇지 못하다.
• 이산 로그 문제가 고전적으로 어려운 경우, 어떤 효율적 고전적 학습자도 PQC 정책의 성능을 따라잡을 수 없음을 공식적으로 증명함으로써, 증명 가능한 양자 우월성을 확립한다.
• 높은 확률(1−δ)로 최적화 알고리즘이 정책 파라미터 g^s′을 반환하며, 이는 추정된 이산 로그 값이 진짜 값과 ε 이내에 있으며, 분류 정확도 ≥1−ε에 도달함을 의미한다.
• 이론적 경계는 충분한 훈련 샘플과 회로 평가를 통해, PQC 정책가 임의로 높은 정확도를 높은 신뢰도로 달성할 수 있음을 보여주며, 이는 접근의 확장성과 내구성을 확인한다.