[论文解读] A framework for deep energy-based reinforcement learning with quantum speed-up

Sofiène Jerbi, Hendrik Poulsen Nautrup+3 more|arXiv (Cornell University)|Oct 28, 2019

Quantum Computing Algorithms and Architecture被引用 5

一句话总结

本文提出了一种统一框架，将深度能量基模型与投影模拟相结合，以在深度强化学习中实现量子加速。通过利用生成式能量基模型，该方法通过量子增强的学习动态，提升了在复杂、大规模环境中的决策能力。

ABSTRACT

In the past decade, deep learning methods have seen tremendous success in various supervised and unsupervised learning tasks such as classification and generative modeling. More recently, deep neural networks have emerged in the domain of reinforcement learning as a tool to solve decision-making problems of unprecedented complexity, e.g., navigation problems or game-playing AI. Despite the successful combinations of ideas from quantum computing with machine learning methods, there have been relatively few attempts to design quantum algorithms that would enhance deep reinforcement learning. This is partly due to the fact that quantum enhancements of deep neural networks, in general, have not been as extensively investigated as other quantum machine learning methods. In contrast, projective simulation is a reinforcement learning model inspired by the stochastic evolution of physical systems that enables a quantum speed-up in decision making. In this paper, we develop a unifying framework that connects deep learning and projective simulation, opening the route to quantum improvements in deep reinforcement learning. Our approach is based on so-called generative energy-based models to design reinforcement learning methods with a computational advantage in solving complex and large-scale decision-making problems.

研究动机与目标

• 通过统一深度学习与投影模拟，弥合深度强化学习与量子增强决策之间的鸿沟。
• 解决在强化学习中，量子加速在深度神经网络探索方面的局限性。
• 通过利用量子优势，为大规模决策问题开发可扩展的框架。
• 通过能量基建模，实现在复杂强化学习任务中的量子改进。
• 探索将生成式能量基模型整合到量子增强强化学习中的方法。

提出的方法

• 该框架将深度能量基模型与投影模拟（一种量子启发的强化学习模型）相结合。
• 利用生成式能量基模型对决策任务中的价值函数和策略进行参数化。
• 通过利用物理系统的随机动力学来建模决策演化，从而实现量子加速。
• 通过投影模拟固有的量子计算优势，将量子增强嵌入学习动力学中。
• 通过能量基函数逼近，使该方法能够扩展至复杂且高维的环境。
• 通过利用问题的能量景观，实现高效的探索与策略优化。

实验结果

研究问题

• RQ1 能否将投影模拟与能量基模型统一，以在深度强化学习中实现量子加速？
• RQ2 生成式能量基模型如何增强大规模强化学习任务中的决策能力？
• RQ3 量子启发的动力学在提升学习效率与可扩展性方面起到什么作用？
• RQ4 深度学习与量子增强强化学习应如何系统性地结合？
• RQ5 该框架是否能在复杂环境中超越经典深度强化学习基线？

主要发现

• 所提出的框架成功将深度能量基模型与投影模拟统一，实现了量子增强学习。
• 该集成在解决复杂且大规模的决策问题中实现了计算优势。
• 该方法利用量子启发的动力学，提升了学习效率与探索能力。
• 该框架通过投影模拟展示了在强化学习中实现量子加速的潜力。
• 能量基建模为策略和价值函数提供了可扩展且表达能力强的函数逼近方法。
• 该方法通过将生成建模与量子动力学结合，为量子增强深度强化学习开辟了新途径。