[论文解读] Quantum Vision Transformers

El Amine Cherrat, Iordanis Kerenidis+4 more|arXiv (Cornell University)|Sep 16, 2022

Quantum Computing Algorithms and Architecture参考文献 39被引用 7

一句话总结

本文提出了一种基于浅层、NISQ友好型参数化量子线路的量子视觉变换器，结合了量子注意力机制，包括一种新型基于复合矩阵的变换器。通过仿真和初步的硬件实验，该方法在医学图像数据集上实现了具有竞争力的分类性能，注意力计算具有理论加速优势，且参数量远少于经典模型。

ABSTRACT

In this work, quantum transformers are designed and analysed in detail by extending the state-of-the-art classical transformer neural network architectures known to be very performant in natural language processing and image analysis. Building upon the previous work, which uses parametrised quantum circuits for data loading and orthogonal neural layers, we introduce three types of quantum transformers for training and inference, including a quantum transformer based on compound matrices, which guarantees a theoretical advantage of the quantum attention mechanism compared to their classical counterpart both in terms of asymptotic run time and the number of model parameters. These quantum architectures can be built using shallow quantum circuits and produce qualitatively different classification models. The three proposed quantum attention layers vary on the spectrum between closely following the classical transformers and exhibiting more quantum characteristics. As building blocks of the quantum transformer, we propose a novel method for loading a matrix as quantum states as well as two new trainable quantum orthogonal layers adaptable to different levels of connectivity and quality of quantum computers. We performed extensive simulations of the quantum transformers on standard medical image datasets that showed competitively, and at times better performance compared to the classical benchmarks, including the best-in-class classical vision transformers. The quantum transformers we trained on these small-scale datasets require fewer parameters compared to standard classical benchmarks. Finally, we implemented our quantum transformers on superconducting quantum computers and obtained encouraging results for up to six qubit experiments.

研究动机与目标

• 设计可扩展至经典视觉变换器的量子神经网络架构，利用量子计算提升性能。
• 开发原生量子注意力机制，利用酉和正交操作以增强表达能力。
• 通过大幅减少参数数量（数千 vs. 数百万）来降低模型复杂度，同时保持或提升分类准确率。
• 利用振幅编码和汉明权重保持门，实现可扩展、可微分的量子线路，适用于NISQ时代硬件。
• 通过医学图像基准测试，在真实和仿真量子硬件上验证可行性与性能优势。

提出的方法

• 提出三种类型的量子变换器：正交分块式、正交变换器和复合变换器，均使用参数化量子线路实现注意力计算。
• 采用振幅编码将图像块映射为量子态，实现在叠加态中高效表示输入数据。
• 使用汉明权重保持量子门以确保可扩展性并减少线路深度，避免使用可扩展性差的通用变分电路。
• 引入量子正交层，通过酉操作实现可训练的矩阵乘法，支持反向传播与梯度计算。
• 在复合变换器中应用复合矩阵乘法，利用克利福德代数运算，该运算在经典计算中难以实现，但在量子计算中天然高效。
• 采用深度为对数级的量子线路（如蝴蝶电路），以在量子硬件上高效实现大规模矩阵运算。

实验结果

研究问题

• RQ1 基于原生量子注意力机制的量子变换器是否能在图像分类任务中实现与经典变换器相当或更优的性能？
• RQ2 与经典对应物相比，量子正交层和复合矩阵运算是否在注意力层复杂度上提供计算优势？
• RQ3 量子视觉变换器是否能在显著减少参数数量（数千 vs. 数百万）的情况下保持良好泛化能力并缓解过拟合？
• RQ4 当前NISQ设备在多大程度上支持量子视觉变换器的执行？其性能受限于噪声和量子比特数量的程度如何？
• RQ5 随着量子比特数量和线路深度的增加，量子变换器的性能如何演化？实现竞争力结果需要何种硬件要求？

主要发现

• 复合变换器在注意力计算中实现了相对于经典方法的理论二次加速，其复杂度随图像块数量和维度的增加而有利地缩放。
• 在数值仿真中，量子视觉变换器在MedMNIST数据集上的分类准确率与最先进经典模型相当或更优。
• 模型仅需60至600个RBS门和16至32个量子比特即可实现具有竞争力的性能，表明参数量低且硬件效率高。
• 在超导量子处理器上的硬件实验表明，六量子比特以内的结果表现良好，但随着电路规模和量子比特数增加，噪声也随之上升。
• 采用汉明权重保持门和振幅编码，实现了可扩展、可微分的量子线路，相较于通用变分量子电路更适用于NISQ设备。
• 复合变换器利用高维复合矩阵，实现了经典计算机无法完成的操作，从而在模型表达能力上提供了独特的量子优势。