[论文解读] A Survey on Quantum Reinforcement Learning

Nico Meyer, Christian Ufrecht+4 more|arXiv (Cornell University)|Nov 7, 2022

Quantum Computing Algorithms and Architecture被引用 30

一句话总结

对量子强化学习 (QRL) 的全面综述，涵盖量子启发式、基于变分量子电路 (VQC) 的、投影模拟、玻尔兹曼机，以及后NISQ方法，重点关注近端设备和容错前景。

ABSTRACT

Quantum reinforcement learning is an emerging field at the intersection of quantum computing and machine learning. While we intend to provide a broad overview of the literature on quantum reinforcement learning - our interpretation of this term will be clarified below - we put particular emphasis on recent developments. With a focus on already available noisy intermediate-scale quantum devices, these include variational quantum circuits acting as function approximators in an otherwise classical reinforcement learning setting. In addition, we survey quantum reinforcement learning algorithms based on future fault-tolerant hardware, some of which come with a provable quantum advantage. We provide both a birds-eye-view of the field, as well as summaries and reviews for selected parts of the literature.

研究动机与目标

• 提供对 QRL 文献及其变体的广泛概述。
• 澄清对 QRL 的解释并区分纯经典、NISQ 时代和后 NISQ 方法。
• 概括关键算法族及其硬件需求。

提出的方法

• 按量子-经典混合程度对 QRL 算法进行分类（从经典到量子）。
• 给出量子启发式 RL、基于 VQC 的 QRL、投影模拟、玻尔兹曼机，以及量子子程序方法的详细综述。
• 讨论近端 NISQ 实现和未来容错范式及可能的量子优势。
• 解释基础的 RL 与 QC 概念，以将 QRL 方法置于背景中。

实验结果

研究问题

• RQ1 QRL 算法的主要家族有哪些？它们在量子-经典混合方面有何差异？
• RQ2 代表性 QRL 方法需要哪些硬件 regime（NISQ 与容错）以及量子优势预计出现在哪些方面？
• RQ3 变分量子电路如何作为 QRL 的函数近似器，它们的优点/局限性是什么？
• RQ4 量子启发式方法在 RL 中的作用是什么？它们是否提供固有的量子优势？
• RQ5 如何组织与评审 QRL 以指导未来的研究方向？

主要发现

• QRL 包括量子启发式方法和使用后 NISQ 资源的完全量子方法及潜在的量子优势。
• 基于 VQC 的 QRL 将量子电路用作混合量子-经典 RL 流程中的函数近似器。
• 若干 QRL 变体依赖于假设未来容错量子硬件的子程序或组件。
• 近端工作聚焦于利用 NISQ 设备，而一些后 NISQ 方法旨在实现可证明的量子优势。
• 本次综述提供了结构化的概览以及对多个子领域中重要 QRL 贡献的详细总结。