[论文解读] How to Teach AI to Play Bell Non-Local Games: Reinforcement Learning

Kishor Bharti, Tobias Haug+2 more|arXiv (Cornell University)|Dec 23, 2019

Computability, Logic, AI Algorithms参考文献 1被引用 10

一句话总结

本文提出了一种强化学习（RL）框架，用于优化非局域游戏中量子策略以违反贝尔不等式，采用混合量子-经典变分电路来参数化量子态和测量设置。RL智能体学习最大化贝尔算符的期望值，即使在传统凸优化方法失效的非凸场景中，也能实现接近最大值的量子违反。

ABSTRACT

Motivated by the recent success of reinforcement learning in games such as Go and Dota2, we formulate Bell non-local games as a reinforcement learning problem. Such a formulation helps us to explore Bell non-locality in a range of scenarios. The measurement settings and the quantum states are selected by the learner randomly in the beginning. Still, eventually, it starts understanding the underlying patterns and discovers an optimal (or near-optimal) quantum configuration corresponding to the task at hand. We provide a proof of principle approach to learning quantum configurations for violating various Bell inequalities. The algorithm also works for non-convex optimization problems where convex methods fail, thus offering a possibility to explore optimal quantum configurations for Bell inequalities corresponding to large quantum networks. We also implement a hybrid quantum-classical variational algorithm with reinforcement learning.

研究动机与目标

• 开发一种强化学习方法，以发现非局域游戏中违反贝尔不等式的最优量子配置。
• 解决在传统凸方法失效的量子网络场景中非凸优化的挑战。
• 使RL智能体能够通过参数化变分电路联合优化纠缠量子态和测量设置。
• 探索RL在复杂量子基础问题中的可行性，特别是在大规模量子网络中的应用。
• 展示RL在无需人工先验知识的情况下，寻找近似最优量子策略的可扩展性和鲁棒性。

提出的方法

• 使用近端策略优化（PPO）训练RL智能体，以选择能最大化贝尔算符期望值的量子态参数和测量设置。
• 采用具有可调Y-旋转和环形结构CNOT门的硬件高效变分量子电路，来参数化N-量子比特纠缠态。
• 智能体从一个产品态（|0⟩^⊗N）开始，在多个训练周期中调节电路参数，以探索优化景观。
• 奖励信号为稀疏信号，仅在每个训练回合结束时提供，即当前配置下贝尔算符期望值。
• 该方法处理探索-利用权衡，随着智能体收敛至高性能策略，奖励的标准差随时间减小。
• 该方法应用于具有Dicke态的多体贝尔不等式，使用Tura等人（2014）推导的参数来定义经典边界和量子违反目标。

实验结果

研究问题

• RQ1 强化学习能否在非凸场景中发现违反贝尔不等式的最优量子策略？
• RQ2 RL在贝尔非局域游戏中同时优化量子态制备和测量设置方面的有效性如何？
• RQ3 混合量子-经典RL框架能否在多体贝尔场景中实现近乎最大化的量子违反？
• RQ4 在基于RL的量子贝尔游戏优化中，探索-利用权衡如何体现？
• RQ5 在复杂的量子网络配置中，RL在多大程度上能超越凸优化方法？

主要发现

• RL智能体成功利用变分量子电路违反了多体贝尔不等式的经典边界。
• 使用三层变分电路，智能体实现了接近量子最大值的违反，表明其随电路深度增加而具备可扩展性。
• 两层电路仅勉强违反经典边界，表明更深的电路能够访问更具纠缠性的态并表现出更高的非局域性。
• 奖励的标准差在训练过程中逐渐减小，表明探索减少，智能体收敛至稳定且高性能的策略。
• 该方法成功导航了非凸优化景观，在传统凸方法失效的场景中表现更优。
• 该方法具有鲁棒性和泛化能力，表明其在大规模量子网络和NISQ时代设备中具有潜在应用前景。