[论文解读] Framework for learning agents in quantum environments

Vedran Dunjko, Jacob M. Taylor+1 more|arXiv (Cornell University)|Jul 30, 2015

Quantum Computing Algorithms and Architecture参考文献 19被引用 12

一句话总结

本文提出了一种学习智能体与量子环境相互作用的量子框架，表明当环境被设计为保持量子相干性时，学习中的量子加速是可能的，尤其是通过‘预言机化’或‘可控制’的环境。关键结果是，当环境的内部结构允许对交互历史进行相干访问时，量子智能体在学习时间上可优于经典智能体，特别是在间歇性测试制度下。

ABSTRACT

In this paper we provide a broad framework for describing learning agents in general quantum environments. We analyze the types of classically specified environments which allow for quantum enhancements in learning, by contrasting environments to quantum oracles. We show that whether or not quantum improvements are at all possible depends on the internal structure of the quantum environment. If the environments are constructed and the internal structure is appropriately chosen, or if the agent has limited capacities to influence the internal states of the environment, we show that improvements in learning times are possible in a broad range of scenarios. Such scenarios we call luck-favoring settings. The case of constructed environments is particularly relevant for the class of model-based learning agents, where our results imply a near-generic improvement.

研究动机与目标

• 建立一个在量子环境中学习智能体的一般性框架，将经典强化学习扩展至完全量子的智能体-环境相互作用。
• 研究在何种条件下量子增强的学习效率是可能的，特别是当环境具有记忆或内部量子结构时。
• 解决在叠加和纠缠模糊了经典顺序交互概念的量子环境中，定义‘历史’这一基础性问题。
• 证明经典测试者会禁止量子加速，但间歇性测试者通过允许未受监控的交互阶段，使量子优势成为可能。
• 定义并分析‘预言机化’和‘可控制’的环境，这些环境能保持量子相干性，从而在学习时间上实现量子加速。

提出的方法

• 引入一个量子智能体-环境相互作用模型，其中智能体和环境均为量子系统，且相互作用由量子力学所支配的幺正操作控制。
• 将‘测试者’定义为第三方观察者，用于监控交互并确定学习是否成功，区分经典测试者（记录完整历史）与间歇性测试者（允许未受监控的阶段）。
• 提出‘预言机化环境’$E_{\text{oracle}}$，其将所有相关量子寄存器返还给智能体，推广了量子计算中的标准预言机。
• 引入‘可控制环境’$E_{\text{control}}$，允许智能体访问并操控内部状态，从而实现与经典智能体的公平比较。
• 使用密度矩阵对智能体、环境和经典寄存器的联合状态进行建模，表明在经典测试下，量子态的演化方式与经典模拟同构。
• 通过归纳法证明，在经典测试下，量子智能体与经典智能体生成完全相同的历史，意味着在此类设置中不可能存在量子加速。

实验结果

研究问题

• RQ1 在何种条件下，量子智能体可在量子环境中实现比经典智能体更快的学习？
• RQ2 量子环境的内部结构如何影响学习中量子加速的可能性？
• RQ3 在完全量子的智能体-环境相互作用中，能否定义出有意义的‘历史’概念，即使存在叠加和纠缠？
• RQ4 为何经典测试者会禁止量子加速，而在何种情形下间歇性测试者可实现量子优势？
• RQ5 哪些类型的环境——特别是‘预言机化’或‘可控制’的环境——可实现量子增强的学习时间？

主要发现

• 当测试者记录交互的完整历史时，学习中的量子加速是不可能的，因为这会坍塌量子态，从而阻止基于叠加的优势。
• 间歇性测试者允许未受监控的交互阶段，可通过在学习过程中保持量子相干性，实现量子加速。
• 预言机化环境能将所有相关量子寄存器返还给智能体，从而在学习时间上实现量子加速，尤其是在基于模型的学习设置中。
• 可控制环境通过在保持环境原始行为的同时允许量子增强的访问，使经典与量子智能体之间的公平比较成为可能。
• 该框架证明，在经典测试下，量子智能体与经典智能体生成相同的历史，确认量子优势仅在特定测试者和环境条件下才可能实现。
• 本文建立了形式化的归纳证明，表明在经典测试下，量子态的演化方式与经典模拟同构，从而排除了此类制度下量子加速的可能性。