[论文解读] A Quantum Model for Multilayer Perceptron

Changpeng Shao|arXiv (Cornell University)|Aug 31, 2018

Quantum Computing Algorithms and Architecture参考文献 16被引用 15

一句话总结

该论文提出了一种基于量子态制备和一种新型并行交换测试技术的多层感知机（MLP）量子模型，实现了相较于经典学习算法至少二次方，某些情况下甚至指数级的加速。该方法将输入向量和权重向量编码为量子态，并利用量子振幅估计算法和受控操作高效计算非线性激活函数并更新权重，从而实现量子MLP的快速训练，并在霍普菲尔德网络的赫布学习中实现指数级加速。

ABSTRACT

Multilayer perceptron is the most common used class of feed-forward artificial neural network. It contains many applications in diverse fields such as speech recognition, image recognition, and machine translation software. To cater for the fast development of quantum machine learning, in this paper, we propose a new model to study multilayer perceptron in quantum computer. This contains the tasks to prepare the quantum state of the output signal in each layer and to establish the quantum version of learning algorithm about the weights in each layer. We will show that the corresponding quantum versions can achieve at least quadratic speedup or even exponential speedup over the classical algorithms. This provide us an efficient method to study multilayer perceptron and its applications in machine learning in quantum computer. Finally, as an inspiration, an exponential fast learning algorithm (based on Hebb's learning rule) of Hopfield network will be proposed.

研究动机与目标

• 开发一种将非线性激活函数和权重学习整合进量子计算框架的多层感知机量子模型。
• 通过一种新颖的量子技术——并行交换测试，克服量子算法中非线性问题的挑战，实现内积和非线性函数的高效计算。
• 与经典MLP训练算法相比，显著加速输出计算和权重更新过程。
• 将该框架扩展至量子霍普菲尔德网络，利用相同核心技术实现赫布学习的指数级加速。

提出的方法

• 输入向量和权重向量被编码为量子态 |x⟩ = (1/‖x‖)∑x_i|i⟩ 和 |w⟩ = (1/‖w‖)∑w_i|i⟩，实现基于叠加的处理。
• 使用并行交换测试在多个量子比特对上并行计算内积 ⟨x|w⟩，实现加权和的高效估计。
• 通过基于估计内积的受控旋转实现非线性激活函数（如Sigmoid或阈值函数），受HHL算法启发。
• 通过在辅助量子比特上应用受控酉操作，实现量子版本的在线学习和批量学习的权重更新。
• 通过输入和权重态的叠加，将霍普菲尔德网络的学习规则进行适配，实现所有权重更新的同时计算。
• 整个过程设计为保持幺正性和相干性，确保与量子电路模型兼容，并在特定条件下实现指数级加速。

实验结果

研究问题

• RQ1 是否能在保持其非线性激活函数和学习动态的前提下，有效在量子计算机上建模多层感知机？
• RQ2 量子版本的多层感知机是否能在权重更新和输出计算方面相对于经典训练算法实现加速？
• RQ3 并行交换测试技术是否能实现在量子神经网络中内积和非线性函数的高效且可扩展的计算？
• RQ4 该量子框架是否可扩展至其他神经网络模型（如霍普菲尔德网络），以在学习过程中实现指数级加速？
• RQ5 在幺正且相干的量子框架中，实现基于梯度和赫布学习规则所需的量子算法基本构件是什么？

主要发现

• 所提出的多层感知机量子模型在计算输出信号和学习权重更新方面，相较于经典算法至少实现了二次方加速。
• 并行交换测试的使用实现了内积和非线性函数的高效估计，构成量子MLP计算优势的核心。
• 对于霍普菲尔德网络，量子赫布学习规则相较于经典方法实现了指数级加速，尤其在输入神经元数量较大时更为显著。
• 输入和权重向量的量子态制备仅需 O(log n) 个量子比特，相较于使用 n 个量子比特处理 n 个输入的模型具有显著优势。
• 该框架支持在线学习和批量学习模式，学习过程以幺正方式编码，保持了量子相干性。
• 该方法展示了将非线性神经动力学整合进量子计算的可行性，为量子机器学习开辟了新途径。