[논문 리뷰] Unentangled quantum reinforcement learning agents in the OpenAI Gym

Jen-Yueh Hsiao, Yuxuan Du외 3명|arXiv (Cornell University)|2022. 03. 27.

Neural Networks and Reservoir Computing인용 수 15

한 줄 요약

이 논문은 얽힘 게이트 없이 단일 큐비트 파arameterized 회로를 사용하는 변분 양자 회로(VQC) 기반 강화학습 에이전트를 제안하며, 후처리를 위해 고전적 신경망을 통합한다. CartPole와 Acrobot에서 고전적 완전 연결 네트워크보다 빠른 수렴 속도와 뛰어난 샘플 효율성을 보이며, 실질적인 IBM 양자 하드웨어에서 검증된 바, LunarLander에서 첫 번째로 성공적인 양자 RL 에이전트 학습을 달성한다.

ABSTRACT

Classical reinforcement learning (RL) has generated excellent results in different regions; however, its sample inefficiency remains a critical issue. In this paper, we provide concrete numerical evidence that the sample efficiency (the speed of convergence) of quantum RL could be better than that of classical RL, and for achieving comparable learning performance, quantum RL could use much (at least one order of magnitude) fewer trainable parameters than classical RL. Specifically, we employ the popular benchmarking environments of RL in the OpenAI Gym, and show that our quantum RL agent converges faster than classical fully-connected neural networks (FCNs) in the tasks of CartPole and Acrobot under the same optimization process. We also successfully train the first quantum RL agent that can complete the task of LunarLander in the OpenAI Gym. Our quantum RL agent only requires a single-qubit-based variational quantum circuit without entangling gates, followed by a classical neural network (NN) to post-process the measurement output. Finally, we could accomplish the aforementioned tasks on the real IBM quantum machines. To the best of our knowledge, none of the earlier quantum RL agents could do that.

연구 동기 및 목표

• 큰 상태-행동 공간에서 고전적 강화학습(RL)의 샘플 비효율성을 해결한다.
• 양자 RL 에이전트가 훨씬 적은 훈련 가능한 파라미터로 비교적 또는 더 뛰어난 성능을 달성할 수 있음을 보여준다.
• 얽힘 게이트 없이 작동하며 NISQ 장치와 호환되는 확장 가능한 근접 양자 RL 아키텍처를 설계한다.
• 최소한의 양자 회로와 실질적인 양자 하드웨어를 사용해 LunarLander와 같은 도전적인 환경에서의 학습 성공을 달성한다.
• NISQ 시대의 RL에서 샘플 효율성 향상에 있어 양자 우월성의 경험적 증거를 제공한다.

제안 방법

• 얽힘 게이트를 피하기 위해 단일 큐비트 변분 양자 회로(VQC)를 사용하고, 파라미터화된 파울리 로테이션을 양자 특징 매핑으로 활용한다.
• 양자 회로의 측정 결과를 처리하기 위해 고전적 순방향 신경망을 사용하여 하이브리드 양자-고전 정책 네트워크를 구성한다.
• 여러 개의 OpenAI Gym 환경에서 양자 RL 에이전트의 훈련 알고리즘으로 유사 정책 최적화(PPO)를 적용한다.
• 모의 환경과 실질적인 IBM 양자 프로세서(예: ibmq_quito)에 양자 회로를 구현하여 하드웨어 타당성을 검증한다.
• 기저 기반의 최적화 방법을 사용하여 VQC를 최적화하며, 기울기 계산을 위해 파arameter-shift 규칙을 활용한다.
• 탐색 전략을 통합한 보상 기반 훈련 루프를 사용하여 연속적 및 이산적 제어 과제에서 이용과 탐색의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 최소한의 양자 회로(단일 큐비트, 얽힘 게이트 없음)를 가진 양자 RL 에이전트가 샘플 효율성에서 고전적 RL 에이전트를 능가할 수 있는가?
• RQ2 이러한 양자 에이전트가 OpenAI Gym 환경에서 도전적인 연속 제어 과제인 LunarLander를 성공적으로 해결할 수 있는가?
• RQ3 유사한 최적화 설정 하에서 제안된 하이브리드 양자-고전 아키텍처가 고전적 완전 연결 신경망보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 제안된 양자 RL 에이전트가 실질적인 노이지 중간 규모 양자(NISQ) 하드웨어에서 훈련 가능하고 안정적인가?
• RQ5 양자 RL과 고전적 RL 간의 모델 복잡도(훈련 가능한 파라미터 수)와 학습 성능 간의 상호 교환 관계는 어떠한가?

주요 결과

• 동일한 최적화 과정에서 CartPole 및 Acrobot 환경에서 고전적 완전 연결 신경망보다 빠른 수렴 속도를 보인 양자 RL 에이전트를 달성했다.
• 유사한 성능에 도달하기 위해 고전적 모델보다 최소 한 계단 이상 적은 훈련 가능한 파라미터를 요구했다.
• 얽힘 게이트 없이 단일 큐비트 VQC를 사용하여 LunarLander 환경에서 양자 RL 에이전트의 첫 번째 성공적인 학습을 달성했다.
• 실질적인 IBM 양자 장치, ibmq_quito 포함하여 양자 에이전트가 성공적으로 배포되고 실행되어 하드웨어 타당성이 입증되었다.
• 얽힘 게이트의 부재로 회로 깊이와 오류율이 크게 감소하여 NISQ 하드웨어에서 신뢰할 수 있는 실행이 가능해졌다.
• 하이브리드 아키텍처—VQC 다음에 고전적 신경망을 연결—측정 결과 후처리 및 정책 최적화에 효과적임이 입증되었다.