[论文解读] Quantum-enhanced neural networks in the neural tangent kernel framework

Kouhei Nakaji, Hiroyuki Tezuka+1 more|arXiv (Cornell University)|Sep 8, 2021

Quantum Computing Algorithms and Architecture参考文献 74被引用 5

一句话总结

本文提出了一种量子-经典混合神经网络（qcNN），通过神经正切核（NTK）框架实现可理论分析的训练过程与量子增强性能。通过将随机初始化的量子数据编码器与宽深度的古典神经网络相结合，该模型实现了全局收敛，并作为非线性量子核函数，其在学习量子数据生成过程方面优于经典网络与纯量子网络。

ABSTRACT

Recently, quantum neural networks or quantum-classical neural networks (qcNN) have been actively studied, as a possible alternative to the conventional classical neural network (cNN), but their practical and theoretically-guaranteed performance is still to be investigated. In contrast, cNNs and especially deep cNNs, have acquired several solid theoretical basis; one of those basis is the neural tangent kernel (NTK) theory, which can successfully explain the mechanism of various desirable properties of cNNs, particularly the global convergence in the training process. In this paper, we study a class of qcNN composed of a quantum data-encoder followed by a cNN. The quantum part is randomly initialized according to unitary 2-designs, which is an effective feature extraction process for quantum states, and the classical part is also randomly initialized according to Gaussian distributions; then, in the NTK regime where the number of nodes of the cNN becomes infinitely large, the output of the entire qcNN becomes a nonlinear function of the so-called projected quantum kernel. That is, the NTK theory is used to construct an effective quantum kernel, which is in general nontrivial to design. Moreover, NTK defined for the qcNN is identical to the covariance matrix of a Gaussian process, which allows us to analytically study the learning process. These properties are investigated in thorough numerical experiments; particularly, we demonstrate that the qcNN shows a clear advantage over fully classical NNs and qNNs for the problem of learning the quantum data-generating process.

研究动机与目标

• 通过神经正切核（NTK）理论，建立量子-经典混合神经网络（qcNN）训练的理论基础框架。
• 解决量子神经网络训练中缺乏理论保证的问题，特别是梯度消失（barren plateau）与非收敛性问题。
• 证明qcNN在学习量子数据生成过程方面，相比经典与纯量子模型可实现量子增强性能。
• 表明在NTK框架下，qcNN的输出成为投影量子核的非线性函数，从而实现对学习动态的解析研究。

提出的方法

• qcNN架构由一个通过酉2-design随机初始化的量子数据编码器，后接一个具有高斯随机初始化的古典神经网络（cNN）构成。
• 在NTK框架下——当cNN宽度趋于无穷大时，整个系统的NTK变为时间不变且正定，从而支持线性化训练分析。
• 证明qcNN的输出为投影量子核的非线性函数，从而在无需显式核设计的情况下，有效构建非平凡的量子核。
• qcNN的NTK在数学上等价于一个高斯过程的协方差矩阵，从而可精确刻画学习动态。
• 在理想态矢量模拟与含噪声、有限采样次数的量子测量条件下，对回归与分类任务进行了数值实验。
• 采用随机梯度下降进行模型训练，并通过改变测量采样次数评估模型对采样噪声的鲁棒性。

实验结果

研究问题

• RQ1 神经正切核（NTK）框架能否扩展至量子-经典混合神经网络，以实现对训练动态的理论分析？
• RQ2 与完全经典或纯量子神经网络相比，qcNN架构在学习量子数据生成过程时是否表现出更优性能？
• RQ3 在现实的含噪声量子环境中，qcNN的性能如何依赖于测量采样次数？
• RQ4 在何种数据与编码器条件下，qcNN能展现出相对于经典模型的量子优势？

主要发现

• 由于其NTK具有时间不变性与正定性，qcNN在NTK框架下实现了全局收敛，从而支持对训练动态的解析分析。
• qcNN的输出为投影量子核的非线性函数，从而在无需显式核设计的情况下，有效构建了非平凡的量子核。
• 仅使用100次测量采样，qcNN的性能即可与理想态矢量模拟器相当，表明其在分类任务中对采样噪声具有强鲁棒性。
• 在回归任务中，qcNN的最终损失值为$9.58 \times 10^{-9}$，显著低于经典NN（$3.78 \times 10^{-2}$）与纯量子NN（$1.14 \times 10^{-1}$）。
• 在分类任务中，qcNN的最终损失值为0.251，优于经典NN（0.364）与纯量子NN（0.503）。
• 当数据编码器设计得当时，模型在学习量子数据生成过程方面展现出明确的量子优势。