[论文解读] Application of Quantum Annealing to Training of Deep Neural Networks

Steve Adachi, Maxwell P. Henderson|arXiv (Cornell University)|Oct 21, 2015

Quantum Computing Algorithms and Architecture参考文献 15被引用 179

一句话总结

本文提出在深度神经网络的预训练阶段，使用D-Wave量子退火机对受限玻尔兹曼机（RBMs）进行采样，以量子采样替代传统的Gibbs采样。在粗粒度MNIST数据集上，基于量子的方法在显著更少的训练迭代次数下，实现了与对比散列（CD）相当或更优的准确率，表明在生成式预训练中可能存在速度提升。

ABSTRACT

In Deep Learning, a well-known approach for training a Deep Neural Network starts by training a generative Deep Belief Network model, typically using Contrastive Divergence (CD), then fine-tuning the weights using backpropagation or other discriminative techniques. However, the generative training can be time-consuming due to the slow mixing of Gibbs sampling. We investigated an alternative approach that estimates model expectations of Restricted Boltzmann Machines using samples from a D-Wave quantum annealing machine. We tested this method on a coarse-grained version of the MNIST data set. In our tests we found that the quantum sampling-based training approach achieves comparable or better accuracy with significantly fewer iterations of generative training than conventional CD-based training. Further investigation is needed to determine whether similar improvements can be achieved for other data sets, and to what extent these improvements can be attributed to quantum effects.

研究动机与目标

• 探究量子退火是否能够加速深度神经网络的生成式预训练阶段。
• 用D-Wave设备生成的量子采样替代RBMs训练中的传统Gibbs采样。
• 评估基于量子采样的方法在粗粒度MNIST数据集上的性能，包括准确率和训练效率。
• 确定观察到的改进是源于量子效应还是算法优势。
• 探索将量子硬件集成到深度学习训练流水线中的可行性。

提出的方法

• 作者将受限玻尔兹曼机（RBM）的能量函数映射为适合D-Wave量子退火机的二次无偏二值优化（QUBO）问题。
• 从D-Wave 2X处理器生成量子采样，以估计RBMs权重更新所需的统计期望值。
• 将基于量子采样的训练方法应用于粗粒度版本的MNIST数据集。
• 该方法使用与标准RBMs训练相同的权重更新规则，但用量子生成的样本替代Gibbs采样。
• 从收敛速度和最终分类准确率两个方面，将该训练过程与标准对比散列（CD）方法进行比较。
• 通过多次运行分析性能，以评估结果的一致性和统计显著性。

实验结果

研究问题

• RQ1 与经典Gibbs采样相比，量子退火能否为RBMs的预训练提供更快或更准确的采样？
• RQ2 基于量子采样的RBMs训练方法在收敛速度和最终准确率方面，与基于CD的训练相比表现如何？
• RQ3 观察到的改进在多大程度上源于量子效应，而非经典算法优势？
• RQ4 该量子采样方法在粗粒度MNIST之外的更大或更复杂的数据集上是否具有可扩展性？
• RQ5 量子退火能否有效集成到深度信念网络的标准深度学习训练流水线中？

主要发现

• 基于量子采样的训练在粗粒度MNIST数据集上实现了与CD方法相当或更优的测试准确率。
• 该方法在收敛前所需的训练迭代次数显著少于传统的CD训练方法。
• 结果表明，量子退火可为RBMs预训练中的采样提供可行的替代方案，有望减少训练时间。
• 研究观察到，量子采样能够生成高质量样本，适用于RBMs中的有效权重更新。
• 作者指出，仍需进一步研究以确定这些改进是源于量子效应，还是其他因素（如采样质量）。
• 该方法展示了在深度学习预训练中使用近期量子硬件的可行性概念验证。