[论文解读] Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation

Yunseok Kwak, Won Joon Yun+3 more|arXiv (Cornell University)|Aug 16, 2021

Quantum Computing Algorithms and Architecture被引用 8

一句话总结

本文提出了一种基于变分量子线路的量子强化学习（QRL）模型，使用PennyLane实现，在CartPole环境中采用近端策略优化（PPO）框架。结果表明，尽管奖励方差较高，量子策略仍能学习到有效的控制策略，凸显了小规模量子线路在QRL中的潜力与挑战。

ABSTRACT

The emergence of quantum computing enables for researchers to apply quantum circuit on many existing studies. Utilizing quantum circuit and quantum differential programming, many research are conducted such as extit{Quantum Machine Learning} (QML). In particular, quantum reinforcement learning is a good field to test the possibility of quantum machine learning, and a lot of research is being done. This work will introduce the concept of quantum reinforcement learning using a variational quantum circuit, and confirm its possibility through implementation and experimentation. We will first present the background knowledge and working principle of quantum reinforcement learning, and then guide the implementation method using the PennyLane library. We will also discuss the power and possibility of quantum reinforcement learning from the experimental results obtained through this work.

研究动机与目标

• 提出使用变分量子线路（VQCs）作为量子机器学习对深度强化学习的扩展，实现量子强化学习（QRL）。
• 提供使用PennyLane量子机器学习库实现QRL的实用指南。
• 评估在经典仿真环境（使用CartPole-v0环境）中QRL的可行性与性能表现。
• 将量子策略的学习行为与随机基线进行对比，突出其稳定性与探索之间的权衡。

提出的方法

• QRL模型将PPO中的深度神经网络策略替换为在PennyLane中实现的参数化量子线路（VQC）。
• VQC将状态观测值（位置、速度、角度、角速度）作为连续输入，映射至[−π, π]范围，并通过单量子比特旋转进行编码。
• 量子线路输出两个动作（左/右）的测量概率，通过Softmax函数采样动作。
• 策略参数使用Adam优化器进行优化，量子策略的初始学习率为1e-3，经典评论家的初始学习率为1e-5。
• 训练采用折扣因子γ = 0.98和基线λ = 0.95的奖励函数，并借鉴DQN中的经验回放与目标网络技术。
• 实现利用PyTorch张量与PennyLane中的自动微分，实现端到端基于梯度的优化。

Figure 1: A policy-VQC for deep-Q learning with parameter $\theta$ .

实验结果

研究问题

• RQ1 变分量子线路能否在强化学习框架中有效充当策略网络？
• RQ2 在CartPole环境中，量子策略的性能与随机策略相比如何？
• RQ3 在存在噪声和概率性量子测量的情况下，量子强化学习的稳定性和收敛特性如何？
• RQ4 量子策略在参数量更少的情况下，与经典深度网络相比，能否实现更有效的探索？
• RQ5 由于量子系统不确定性，QRL中保持高性能面临哪些主要挑战？

主要发现

• 量子强化学习模型成功学习到在CartPole环境中保持平衡的策略，其平均累积奖励显著高于随机基线。
• 训练过程中，各次episode的奖励方差较高，表明由于量子测量不确定性与概率性结果，存在不稳定性。
• 尽管方差较高，策略仍收敛至有效的控制策略，证明量子线路能够编码有意义的决策机制。
• 使用小型4量子比特VQC即可实现学习，且参数量较少，表明在量子策略空间中具有高效探索的潜力。
• 量子策略的性能仍低于最先进的经典深度强化学习基线，但结果表明，通过更好的误差缓解与硬件改进，未来具有显著提升潜力。

Figure 2: Quantum Reinforcement Learning System