[论文解读] Exponential improvements for quantum-accessible reinforcement learning

Vedran Dunjko, Yi-Kai Liu+2 more|arXiv (Cornell University)|Oct 30, 2017

Quantum Computing Algorithms and Architecture参考文献 25被引用 6

一句话总结

本文通过引入满足‘自然性’约束的量子可访问环境，展示了强化学习（RL）中指数级的量子加速。该方法避免了人为的预言机问题，通过将递归傅里叶采样（Recursive Fourier Sampling）和西蒙问题（Simon’s problem）编码为马尔可夫决策过程（MDPs），作者证明了即使在恒定误差和失败参数下，量子智能体相比经典智能体仍能实现超多项式的学习效率提升。

ABSTRACT

Quantum computers can offer dramatic improvements over classical devices for data analysis tasks such as prediction and classification. However, less is known about the advantages that quantum computers may bring in the setting of reinforcement learning, where learning is achieved via interaction with a task environment. Here, we consider a special case of reinforcement learning, where the task environment allows quantum access. In addition, we impose certain "naturalness" conditions on the task environment, which rule out the kinds of oracle problems that are studied in quantum query complexity (and for which quantum speedups are well-known). Within this framework of quantum-accessible reinforcement learning environments, we demonstrate that quantum agents can achieve exponential improvements in learning efficiency, surpassing previous results that showed only quadratic improvements. A key step in the proof is to construct task environments that encode well-known oracle problems, such as Simon's problem and Recursive Fourier Sampling, while satisfying the above "naturalness" conditions for reinforcement learning. Our results suggest that quantum agents may perform well in certain game-playing scenarios, where the game has recursive structure, and the agent can learn by playing against itself.

研究动机与目标

• 探究量子可访问强化学习（RL）环境是否能为经典 RL 智能体带来超多项式或指数级加速。
• 定义并施加‘自然性’条件，以排除平凡的基于预言机的加速，确保结果与真实世界 RL 设置的相关性。
• 构建编码了困难量子预言机问题（如递归傅里叶采样、西蒙问题）的 MDP，同时保持与 RL 的兼容性。
• 证明在这些环境中，量子智能体可在多项式时间内学习最优策略，而经典智能体则需要超多项式时间。
• 证明此类加速在恒定误差和失败参数下依然稳健，无需超多项式衰减的误差界。

提出的方法

• 形式化一个量子可访问 RL 环境框架，其中环境维持量子叠加态并支持量子控制。
• 定义三项自然性准则（a）–（c），以排除人为的预言机问题，确保环境适用于实际 RL 应用。
• 构建编码递归傅里叶采样（RFS）问题的 MDP M₃，将量子预言机嵌入环境的转移动态中。
• 利用已知的高效量子算法（如采用振幅放大和预言机化技术）设计在多项式时间内学习的量子智能体。
• 利用递归 MDP 的结构建模分层学习，其中解决高层问题可通过量子一致性机制，实现对低层子问题的求解。
• 应用预言机化技术，将量子预言机映射为量子可访问环境，使智能体能够以叠加态查询，并高效提取全局结构。

实验结果

研究问题

• RQ1 量子可访问强化学习环境是否能为经典智能体带来指数级或超多项式加速？
• RQ2 在排除平凡预言机构造的自然约束下，RL 中的量子加速是否依然成立？
• RQ3 像递归傅里叶采样和西蒙问题这样的难题能否被嵌入满足 RL 自然性条件的 MDP 中？
• RQ4 在分层 RL 设置中，若解决高层任务可促进低层任务的求解，是否存在量子优势？
• RQ5 在经典智能体需要超多项式时间的 MDP 中，量子智能体是否能实现多项式时间学习？

主要发现

• 在编码递归傅里叶采样（RFS）的 MDP 中，量子智能体实现了超多项式的学习效率，而经典智能体则需要超多项式时间。
• 即使误差和失败参数为常数，该量子优势依然成立，无需超多项式衰减的误差界，表明结果具有鲁棒性。
• 为编码 RFS 而构建的 MDP M₃ 满足所有三项自然性准则（a）–（c），确保其为有效且现实的 RL 环境。
• 量子智能体利用预言机化和振幅放大技术，在多项式时间内提取出完整的秘密字符串 s(∅)，并充分利用了递归结构。
• 结果表明，量子智能体可能在递归博弈或分层技能学习场景中优于经典智能体。
• 该框架表明，RL 中的指数级加速不仅存在于人为构造的预言机问题中，也可在结构化、自然的 RL 环境中实现。