[论文解读] Exponentially Many Local Minima in Quantum Neural Networks

Xuchen You, Xiaodi Wu|arXiv (Cornell University)|Oct 6, 2021

Quantum Computing Algorithms and Architecture被引用 4

一句话总结

本文表明，由于量子干涉效应，而非经典网络中的非线性激活函数，参数量不足的量子神经网络（QNNs）在其损失曲面中可能表现出指数级数量的虚假局部极小值。通过构造性方法，作者证明了存在具有 p 个参数的 QNN 实例，其损失函数中包含 2^Ω(p) 个局部极小值，并通过实证验证了标准优化器难以逃离这些极小值，揭示了近期量子机器学习中一个根本性的训练挑战。

ABSTRACT

Quantum Neural Networks (QNNs), or the so-called variational quantum circuits, are important quantum applications both because of their similar promises as classical neural networks and because of the feasibility of their implementation on near-term intermediate-size noisy quantum machines (NISQ). However, the training task of QNNs is challenging and much less understood. We conduct a quantitative investigation on the landscape of loss functions of QNNs and identify a class of simple yet extremely hard QNN instances for training. Specifically, we show for typical under-parameterized QNNs, there exists a dataset that induces a loss function with the number of spurious local minima depending exponentially on the number of parameters. Moreover, we show the optimality of our construction by providing an almost matching upper bound on such dependence. While local minima in classical neural networks are due to non-linear activations, in quantum neural networks local minima appear as a result of the quantum interference phenomenon. Finally, we empirically confirm that our constructions can indeed be hard instances in practice with typical gradient-based optimizers, which demonstrates the practical value of our findings.

研究动机与目标

• 研究量子神经网络（QNNs）的损失曲面，理解其训练过程中局部极小值的性质与数量。
• 确定 QNN 中的局部极小值是否为良性或虚假，特别是在参数量不足的情况下。
• 识别 QNN 中局部极小值的根本原因，将其与经典神经网络区分开来。
• 构建具有指数级数量局部极小值的显式 QNN 实例，并通过实证方法验证其困难性。
• 为这类 QNN 中可能存在的局部极小值最大数量提供理论边界。

提出的方法

• 使用两层 XY-编码器和参数化酉门，构建一个简单但困难的 QNN 实例族。
• 设计一个数据集，通过量子干涉效应诱导损失函数中出现指数级数量的局部极小值。
• 利用量子线路对称性和干涉效应，证明对于 p 个参数，局部极小值数量至少为 2^Ω(p)。
• 建立局部极小值数量的近乎匹配的上界，表明该构造几乎是最优的。
• 在随机初始化的参数上使用基于梯度的优化器（如 RMSProp）进行实证评估，以检验其收敛到全局极小值或局部极小值的情况。
• 对标签施加高斯噪声，并测量局部极小值的鲁棒性以及找到全局最优解的成功率。

实验结果

研究问题

• RQ1 参数量不足的 QNN 是否可能在其损失曲面中具有指数级数量的局部极小值？
• RQ2 QNN 中局部极小值的根源是什么——是量子干涉还是非线性激活函数？
• RQ3 这些局部极小值对扰动（如标签噪声或测量误差）是否具有鲁棒性？
• RQ4 标准基于梯度的优化器能否在这些困难实例中可靠地找到全局最小值？
• RQ5 QNN 中局部极小值的数量如何随参数数量变化？

主要发现

• 在典型参数量不足的 QNN 的损失函数中，虚假局部极小值的数量可随参数数量呈指数级增长，具体而言，对于 p 个参数，其数量至少为 2^Ω(p)。
• QNN 中的局部极小值源于量子干涉，而非经典神经网络中的非线性激活函数。
• 所构建的 QNN 实例几乎是最优的，因为局部极小值数量的上界与下界仅相差一个次指数因子。
• 实证结果表明，像 RMSProp 这类标准基于梯度的优化器在参数数量增加时，找到全局最小值的成功率呈指数级下降。
• 只要损失函数中的扰动在 ℓ∞-范数下有界，这些局部极小值在高斯标签噪声、量子噪声和有限测量误差下仍保持鲁棒性。
• 即使在自然的线性可分数据集上，局部极小值的数量也随参数数量显著增加，且找到全局最小值的成功率急剧下降。