[论文解读] A quantum algorithm for training wide and deep classical neural networks

Alexander Zlokapa, Hartmut Neven+1 more|arXiv (Cornell University)|Jul 19, 2021

Quantum Computing Algorithms and Architecture参考文献 4被引用 12

一句话总结

该论文提出了一种量子算法，通过利用神经正切核（NTK）形式化方法并求解量子线性系统（QLSA）以实现矩阵求逆，从而在宽且深的经典神经网络上实现对数时间复杂度的训练。当数据允许高效的状态制备和读出时（如MNIST数据集所示），该算法相对于经典梯度下降展现出指数级加速，且数值证据支持其在具有池化层的卷积网络上的有效性。

ABSTRACT

Given the success of deep learning in classical machine learning, quantum algorithms for traditional neural network architectures may provide one of the most promising settings for quantum machine learning. Considering a fully-connected feedforward neural network, we show that conditions amenable to classical trainability via gradient descent coincide with those necessary for efficiently solving quantum linear systems. We propose a quantum algorithm to approximately train a wide and deep neural network up to $O(1/n)$ error for a training set of size $n$ by performing sparse matrix inversion in $O(\log n)$ time. To achieve an end-to-end exponential speedup over gradient descent, the data distribution must permit efficient state preparation and readout. We numerically demonstrate that the MNIST image dataset satisfies such conditions; moreover, the quantum algorithm matches the accuracy of the fully-connected network. Beyond the proven architecture, we provide empirical evidence for $O(\log n)$ training of a convolutional neural network with pooling.

研究动机与目标

• 通过使量子机器学习与经典深度学习相融合，实现对标准神经网络架构的量子加速。
• 识别量子算法在训练宽且深的神经网络时超越经典梯度下降的条件。
• 证明当数据分布允许高效的状态制备和读出时（如MNIST数据集所示），量子训练是可行的。
• 利用NTK框架将理论结果从全连接网络扩展到具有池化层的卷积网络。
• 提供实证证据表明，该量子算法在实现亚多项式时间复杂度的同时，保持与经典训练相当的准确性。

提出的方法

• 将宽且深神经网络的训练形式化为通过神经正切核（NTK）求解线性方程组，其中输出表示为 $ \mathbf{k}_*^T K^{-1} \mathbf{y} $。
• 应用量子线性系统算法（QLSA）在 $ O(\log n) $ 时间内求逆NTK矩阵 $ K $，假设 $ K $ 是稀疏且条件良好的。
• 采用 $ s = O(\log n) $ 的稀疏模式以减小矩阵规模，同时保持其条件性，利用Gershgorin圆定理控制特征值扰动。
• 通过将非对角线元素抑制 $ O((\log n)^{9/10}) $ 的因子对NTK进行预处理，确保在规模增大时条件数仍保持有界。
• 使用基于小部分训练数据的固定稀疏模式来选择重要的NTK元素，从而在不增加复杂度的前提下最小化对性能的影响。
• 集成高效的量子态制备与测量协议，确保后选择与读出成本保持在 $ O(\log n) $，从而实现端到端的对数时间复杂度运行。

实验结果

研究问题

• RQ1 量子算法是否能在训练宽且深的经典神经网络时，相对于经典梯度下降实现指数级加速？
• RQ2 在何种数据分布条件下，高效量子训练成为可行——特别是关于状态制备与读出的条件？
• RQ3 神经正切核（NTK）形式化方法是否能将量子加速扩展至全连接网络之外，包括具有池化层的卷积网络？
• RQ4 NTK矩阵的条件数如何影响在此背景下量子线性系统求解的可行性与效率？
• RQ5 对NTK矩阵进行稀疏化是否能在保持泛化性能的同时，实现在真实数据集（如MNIST）上的对数时间复杂度运行？

主要发现

• 在假设可实现高效状态制备与读出的前提下，该量子算法对宽且深的全连接神经网络实现了 $ O(\log n) $ 的运行时间复杂度，且对大小为 $ n $ 的训练集误差为 $ O(1/n) $。
• 数值实验表明，MNIST数据集满足高效状态制备与读出的条件，从而实现对数时间复杂度运行，并达到与经典方法相当的精度。
• 即使训练集规模增大，NTK矩阵的条件数仍保持在 $ O(\log n) $ 以内，支持高效量子线性系统求解。
• 对于具有池化层的卷积神经网络，NTK保持良好条件性，其条件数随深度增加趋近于常数，从而支持类似的量子加速。
• 基于小部分数据的固定稀疏模式对NTK矩阵进行稀疏化，可在保持分类性能的同时，维持 $ O(\log n) $ 的条件数与运行时间。
• 通过稀疏化、通过抑制非对角线元素实现的预处理，以及高效的测量相结合，确保总量子运行时间保持在 $ n $ 的对数时间复杂度，从而实现相对于经典梯度下降的指数级加速。