[논문 리뷰] Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation

Yunseok Kwak, Won Joon Yun외 3명|arXiv (Cornell University)|2021. 08. 16.

Quantum Computing Algorithms and Architecture인용 수 8

한 줄 요약

이 논문은 PennyLane을 사용하여 변분 양자 회로 기반의 양자 강화 학습(QRL) 모델을 소개하며, CartPole 환경에서 보조 정책 최적화(PPO) 프레임워크를 구현한다. 고상한 보상 분산에도 불구하고 양자 정책이 효과적인 제어 정책을 학습할 수 있음을 보여주며, 소규모 양자 회로를 사용한 QRL의 잠재력과 과제를 부각시킨다.

ABSTRACT

The emergence of quantum computing enables for researchers to apply quantum circuit on many existing studies. Utilizing quantum circuit and quantum differential programming, many research are conducted such as extit{Quantum Machine Learning} (QML). In particular, quantum reinforcement learning is a good field to test the possibility of quantum machine learning, and a lot of research is being done. This work will introduce the concept of quantum reinforcement learning using a variational quantum circuit, and confirm its possibility through implementation and experimentation. We will first present the background knowledge and working principle of quantum reinforcement learning, and then guide the implementation method using the PennyLane library. We will also discuss the power and possibility of quantum reinforcement learning from the experimental results obtained through this work.

연구 동기 및 목표

• 딥 강화 학습의 양자 기계 학습 확장으로서 변분 양자 회로(VQC)를 사용한 양자 강화 학습(QRL)을 소개하는 것.
• PennyLane 양자 기계 학습 라이브러리를 사용한 QRL의 실용적 구현 가이드를 제공하는 것.
• CartPole-v0 환경을 사용한 고전적 시뮬레이션 환경에서 QRL의 실현 가능성과 성능을 평가하는 것.
• 무작위 기준 대비 양자 정책의 학습 행동을 비교하여 안정성과 탐색 트레이드오프를 부각하는 것.

제안 방법

• QRL 모델은 PPO의 딥 신경망 정책를 파arameterized 양자 회로(VQC)로 대체하며, PennyLane에서 구현된다.
• VQC는 상태 관측값(위치, 속도, 각도, 각속도)을 연속형 입력으로 처리하며, [−π, π] 범위로 매핑하고 단일 큐비트 회전을 통해 인코딩된다.
• 양자 회로는 두 행동(왼쪽/오른쪽)에 대한 측정 확률을 출력하며, 이는 소프트맥스 함수를 통해 행동을 샘플링하는 데 사용된다.
• 정책 파라미터는 Adam 최적화기로 최적화되며, 양자 정책에 대해 학습률 1e-3, 고전적 크리틱에 대해 1e-5를 사용한다.
• 학습은 할인 인자 γ = 0.98 및 베이스라인 λ = 0.95를 사용한 보상 함수를 사용하며, DQN에서 유도된 경험 재생 및 타겟 네트워크 기법을 적용한다.
• 구현은 PyTorch 텐서와 PennyLane의 자동 미분을 활용하여 엔드 투 엔드 기반의 기울기 기반 최적화를 수행한다.

Figure 1: A policy-VQC for deep-Q learning with parameter $\theta$ .

실험 결과

연구 질문

• RQ1 변분 양자 회로가 강화 학습 프레임워크에서 정책 네트워크로 효과적으로 기능할 수 있는가?
• RQ2 CartPole 환경에서 양자 정책의 성능은 무작위 정책 대비 어떻게 비교되는가?
• RQ3 노이즈가 있고 확률적인 양자 측정이 존재하는 조건에서 QRL의 안정성과 수렴 특성은 어떠한가?
• RQ4 클래식 딥 네트워크에 비해 더 적은 파라미터로 양자 정책이 얼마나 효과적인 탐색을 가능하게 하는가?
• RQ5 양자 시스템의 불확실성으로 인해 QRL에서 높은 성능를 유지하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 양자 강화 학습 모델은 CartPole 환경에서 막대를 균형 잡는 것을 성공적으로 학습하여, 무작위 기준 대비 유의미하게 높은 평균 누적 보상을 달성한다.
• 학습 중에 에피소드 보상의 변동성이 높아, 양자 측정 불확실성과 확률적 결과로 인한 불안정성을 나타낸다.
• 높은 변동성에도 불구하고 정책은 효과적인 제어 전략으로 수렴하며, 양자 회로가 의미 있는 의사결정 정책을 인코딩할 수 있음을 보여준다.
• 소규모 4 큐비트 VQC의 사용은 상대적으로 적은 파라미터로 학습을 가능하게 하여, 양자 정책 공간에서의 효율적 탐색 잠재력을 시사한다.
• 양자 정책의 성능는 최첨단 고전적 DRL 기준보다 낮지만, 향후 오차 보정 및 하드웨어 향상으로 개선 가능성이 있음을 시사한다.

Figure 2: Quantum Reinforcement Learning System