[论文解读] Variational Quantum Soft Actor-Critic for Robotic Arm Control

Alberto Acuto, Paola Barillà+4 more|arXiv (Cornell University)|Dec 20, 2022

Quantum Computing Algorithms and Architecture被引用 8

一句话总结

本文提出了一种变分量子软演员-critic（QSAC）算法，将变分量子线路（VQCs）集成到软演员-critic强化学习框架中，用于机械臂控制。通过用量子-经典混合架构替代传统神经网络中的Critic以及Actor和Critic组件，该方法在保持与经典SAC相当性能的同时，将可学习参数数量减少了100倍，展示了在参数效率方面的显著量子优势。

ABSTRACT

Deep Reinforcement Learning is emerging as a promising approach for the continuous control task of robotic arm movement. However, the challenges of learning robust and versatile control capabilities are still far from being resolved for real-world applications, mainly because of two common issues of this learning paradigm: the exploration strategy and the slow learning speed, sometimes known as "the curse of dimensionality". This work aims at exploring and assessing the advantages of the application of Quantum Computing to one of the state-of-art Reinforcement Learning techniques for continuous control - namely Soft Actor-Critic. Specifically, the performance of a Variational Quantum Soft Actor-Critic on the movement of a virtual robotic arm has been investigated by means of digital simulations of quantum circuits. A quantum advantage over the classical algorithm has been found in terms of a significant decrease in the amount of required parameters for satisfactory model training, paving the way for further promising developments.

研究动机与目标

• 探究量子机器学习是否能够提升深度强化学习在机器人控制任务中的样本效率与参数效率。
• 评估混合量子-经典强化学习在连续控制任务中的性能，使用模拟的机械臂环境。
• 评估将变分量子线路（VQCs）集成到软演员-critic（SAC）算法不同组件（特别是Actor、Critic及两者）中的影响。
• 确定在机器人操作任务中，是否能在模型复杂度降低和收敛速度加快方面体现量子优势。

提出的方法

• 本研究实现了三种混合QSAC变体：一种使用量子Actor，一种使用量子Critic，以及一种同时用变分量子线路（VQCs）替换Actor和Critic的版本。
• 通过使用参数化量子线路（PQCs）并结合数据重加载技术，对状态-动作对进行编码，实现量子态的映射。
• 以经典深度神经网络作为基线进行对比，超参数经过仔细调整以确保评估的公平性。
• 对SAC算法进行改造，使用量子线路实现策略和价值函数近似，同时采用经典优化方法（Adam）训练量子线路参数。
• 量子线路设计包含多层单量子比特旋转门与纠缠门，以在极少数量子比特下实现高表达能力。
• 在模拟环境中进行训练，采用二维机械臂的连续控制基准任务，性能通过累积回报和学习稳定性进行衡量。

实验结果

研究问题

• RQ1 将变分量子线路集成到软演员-critic算法中，是否能提升机械臂控制任务中的样本效率并减少参数数量？
• RQ2 在使用相同可学习参数数量的前提下，量子增强的Critic组件是否相比经典版本具有性能优势？
• RQ3 在Actor和Critic网络中均使用量子线路，对整体训练动态与最终策略性能有何影响？
• RQ4 量子线路是否能有效建模强化学习中连续控制任务所需的非线性函数近似？
• RQ5 当参数数量扩展时，特别是在“维度灾难”背景下，量子优势是否依然存在？

主要发现

• 在Actor和Critic网络中均使用VQCs的完整量子SAC方法，其性能与经典SAC相当，但可学习参数数量减少了约100倍。
• 仅使用量子增强的Critic时，参数数量相比经典SAC减少约六倍，同时保持性能一致，显示出显著优势。
• 当仅将Actor网络替换为VQC时未观察到量子优势，表明Critic组件对量子增强更为敏感。
• 量子线路带来的性能提升归因于VQCs在函数近似中的高表达能力，尤其是在价值函数估计方面。
• 结果表明，量子线路可仅用极少参数有效建模复杂的价值函数与策略函数，为实现更高效的强化学习训练提供了可能路径。
• 研究指出，通过幅值编码技术及未来在真实量子硬件上的部署，有望进一步提升性能，尤其可用于评估噪声与退相干对模型鲁棒性的影响。