[论文解读] Quantum Deep Reinforcement Learning for Robot Navigation Tasks

Hans Hohenfeld, Dirk Heimann+2 more|arXiv (Cornell University)|Feb 24, 2022

Quantum Computing Algorithms and Architecture参考文献 70被引用 10

一句话总结

本文提出一种混合量子-经典深度强化学习方法，利用参数化量子线路（PQCs）训练模拟轮式机器人完成导航任务。结果表明，PQCs 在参数量显著更少的情况下可学习到最优策略，尽管经典模型训练速度更快且更稳定；连续编码状态向量至量子比特的表现优于逐分量编码。

ABSTRACT

We utilize hybrid quantum deep reinforcement learning to learn navigation tasks for a simple, wheeled robot in simulated environments of increasing complexity. For this, we train parameterized quantum circuits (PQCs) with two different encoding strategies in a hybrid quantum-classical setup as well as a classical neural network baseline with the double deep Q network (DDQN) reinforcement learning algorithm. Quantum deep reinforcement learning (QDRL) has previously been studied in several relatively simple benchmark environments, mainly from the OpenAI gym suite. However, scaling behavior and applicability of QDRL to more demanding tasks closer to real-world problems e. g., from the robotics domain, have not been studied previously. Here, we show that quantum circuits in hybrid quantum-classic reinforcement learning setups are capable of learning optimal policies in multiple robotic navigation scenarios with notably fewer trainable parameters compared to a classical baseline. Across a large number of experimental configurations, we find that the employed quantum circuits outperform the classical neural network baselines when equating for the number of trainable parameters. Yet, the classical neural network consistently showed better results concerning training times and stability, with at least one order of magnitude of trainable parameters more than the best-performing quantum circuits. However, validating the robustness of the learning methods in a large and dynamic environment, we find that the classical baseline produces more stable and better performing policies overall.

研究动机与目标

• 探究混合量子-经典强化学习在复杂机器人导航任务中的可行性，超越简单的基准环境。
• 在样本效率、训练速度和策略性能方面，比较基于量子线路的函数逼近器（PQCs）与经典深度Q网络（DDQN）的表现。
• 评估在参数化量子线路中对经典机器人状态向量采用不同量子态编码策略的效果。
• 分析量子与经典模型在任务复杂度增加时的可扩展性行为。

提出的方法

• 在混合量子-经典框架中，采用双深度Q网络（DDQN）强化学习，并使用参数化量子线路（PQCs）作为函数逼近器。
• 采用两种量子态编码策略：将整个经典状态向量连续编码至量子比特，或为每个分量分配独立的量子比特。
• 通过基于梯度的量子线路参数更新，在量子-经典优化循环中训练PQCs。
• 在相同超参数和网络架构下，将PQC性能与经典深度Q网络基线进行对比。
• 在三个复杂度递增的模拟导航任务中验证结果：3×3网格、5×5网格，以及一个大型动态环境。
• 采用标准强化学习指标：平均评估奖励、收敛所需训练步数，以及多次运行下的策略稳定性。

实验结果

研究问题

• RQ1 混合量子-经典深度强化学习能否在日益复杂的模拟机器人环境中学习到最优导航策略？
• RQ2 当可训练参数数量相等时，基于PQC的函数逼近器与经典深度Q网络在样本效率和策略性能方面有何差异？
• RQ3 在机器人导航任务中，哪种量子态编码策略——连续编码或逐分量编码——能获得更好的学习性能？
• RQ4 在可训练参数数量相等的情况下，量子与经典模型在训练稳定性和收敛速度方面如何比较？
• RQ5 与经典基线相比，量子线路在多大程度上可扩展至真实世界机器人任务？

主要发现

• 当可训练参数数量相等时，量子线路在策略性能上优于经典神经网络，尤其在简单导航任务中表现更优。
• 采用连续编码（每个输入对应一个量子比特）的PQC性能优于逐分量编码，表明编码策略显著影响学习效率。
• 经典深度Q网络的训练速度更快且更稳定，需至少多一个数量级的参数才能达到最佳量子线路的性能水平。
• 在大型动态环境中，经典基线整体产生了更稳定且性能更高的策略，表明其在复杂场景中具有更强的鲁棒性优势。
• 在FrozenLake和CartPole-v1等基准环境上的训练速度显著快于在自定义导航任务上的训练，证实后者对算法更具挑战性。
• 结果表明，当前混合量子机器学习方法在理想化模拟环境中对简单机器人任务是可行的，但其在更复杂问题上的可扩展性仍是开放挑战。