[论文解读] Evaluating the performance of sigmoid quantum perceptrons in quantum neural networks

Samuel A Wilkinson, Michael J. Hartmann|arXiv (Cornell University)|Aug 12, 2022

Quantum Computing Algorithms and Architecture被引用 4

一句话总结

本文通过对比其表达能力和性能与更简单的参数量子线路，评估了Sigmoid量子感知机（SQPs）——旨在模拟经典神经网络激活函数的量子线路——的表现。尽管SQPs继承了经典网络的通用逼近性质，但在经典和量子学习任务中表现均不佳，表明在NISQ时代，非线性激活函数并不能带来量子优势。

ABSTRACT

Quantum neural networks (QNN) have been proposed as a promising architecture for quantum machine learning. There exist a number of different quantum circuit designs being branded as QNNs, however no clear candidate has presented itself as more suitable than the others. Rather, the search for a ``quantum perceptron" -- the fundamental building block of a QNN -- is still underway. One candidate is quantum perceptrons designed to emulate the nonlinear activation functions of classical perceptrons. Such sigmoid quantum perceptrons (SQPs) inherit the universal approximation property that guarantees that classical neural networks can approximate any function. However, this does not guarantee that QNNs built from SQPs will have any quantum advantage over their classical counterparts. Here we critically investigate both the capabilities and performance of SQP networks by computing their effective dimension and effective capacity, as well as examining their performance on real learning problems. The results are compared to those obtained for other candidate networks which lack activation functions. It is found that simpler, and apparently easier-to-implement parametric quantum circuits actually perform better than SQPs. This indicates that the universal approximation theorem, which a cornerstone of the theory of classical neural networks, is not a relevant criterion for QNNs.

研究动机与目标

• 评估Sigmoid量子感知机（SQPs）在量子机器学习中是否相较于更简单的参数量子线路展现出有意义的量子优势。
• 探究经典神经网络的通用逼近性质是否能有意义地延伸至由SQPs构建的量子网络。
• 在NISQ时代硬件约束背景下，比较基于SQPs的网络与仅使用线性、酉操作的网络在表达能力和性能上的差异。
• 确定在量子线路中实现类经典非线性激活函数是否能提升在经典和量子机器学习任务中的性能。

提出的方法

• 作者构建了三种QNN架构：一种基于Sigmoid量子感知机（SQPs），一种基于Beer等人（2020）提出的深度前馈QNN，另一种仅使用单量子比特Y-旋转和CNOT门。
• 通过基于统计力学和信息几何的度量，计算每种网络的有效维度和有效容量，以量化其表达能力。
• 在真实学习任务上评估每种架构的性能，包括经典图像分类和量子酉算子学习。
• 将SQP建模为一个单位操作，其将输入态映射为输出态，使得目标量子比特的激发概率遵循输入权重和偏置的Sigmoid函数。
• 该协议被推导为在时间依赖的伊辛型哈密顿量下的绝热演化，Sigmoid函数源于系统瞬时本征态的绝热演化。
• 最终的单位操作由系统的绝热演化导出，确保每个输入基态演化为一个叠加态，其振幅取决于输入加权和的Sigmoid函数。

实验结果

研究问题

• RQ1 Sigmoid量子感知机（SQPs）相较于更简单的参数量子线路，是否显著提升了表达能力？
• RQ2 经典神经网络的通用逼近性质是否能延续到由SQPs构建的量子网络中？
• RQ3 在NISQ阶段，基于SQPs的网络在经典学习任务（如图像分类）和量子任务（如酉算子学习）中的表现如何？
• RQ4 在量子线路中引入非线性激活函数是否对实现量子机器学习中的量子优势是必要或有益的？
• RQ5 SQPs能否在有效维度、有效容量和实际学习性能方面超越更简单、硬件高效的量子线路？

主要发现

• 尽管SQPs继承了经典网络的通用逼近性质，但其表达能力（以有效维度和有效容量衡量）仍低于更简单的参数量子线路。
• SQP网络在量子机器学习任务（如酉算子学习）中表现欠佳，其中输入和输出均为量子态，表明其量子优势有限。
• 在图像分类等经典学习任务中，SQPs虽能模拟经典神经网络，但仍逊于更简单的变分量子线路。
• 研究发现，仅由单量子比特Y-旋转和CNOT门构成的更简单、硬件高效的参数量子线路，在表达能力和学习性能方面均优于SQP网络。
• 尽管通用逼近定理在经典深度学习中具有基础性作用，但在NISQ时代，它并非量子神经网络设计的可靠指导原则。
• 结果表明，在近期量子机器学习中追求类经典非线性激活函数可能并无益处，因其无法转化为性能提升或量子优势。