[论文解读] Exploration of Quantum Neural Architecture by Mixing Quantum Neuron Designs

Zhepeng Wang, Zhiding Liang+4 more|arXiv (Cornell University)|Sep 8, 2021

Quantum Computing Algorithms and Architecture参考文献 46被引用 8

一句话总结

本文提出QF-MixNN，一种新颖的量子神经网络架构，可无缝整合变分量子线路（VQC）与QuantumFlow神经元，结合VQC的实数值权重与QuantumFlow的二值权重效率，在无需额外测量的情况下于MNIST数据集上实现90.62%的准确率，显著优于两种基线模型。

ABSTRACT

With the constant increase of the number of quantum bits (qubits) in the actual quantum computers, implementing and accelerating the prevalent deep learning on quantum computers are becoming possible. Along with this trend, there emerge quantum neural architectures based on different designs of quantum neurons. A fundamental question in quantum deep learning arises: what is the best quantum neural architecture? Inspired by the design of neural architectures for classical computing which typically employs multiple types of neurons, this paper makes the very first attempt to mix quantum neuron designs to build quantum neural architectures. We observe that the existing quantum neuron designs may be quite different but complementary, such as neurons from variational quantum circuits (VQC) and Quantumflow. More specifically, VQC can apply real-valued weights but suffer from being extended to multiple layers, while QuantumFlow can build a multi-layer network efficiently, but is limited to use binary weights. To take their respective advantages, we propose to mix them together and figure out a way to connect them seamlessly without additional costly measurement. We further investigate the design principles to mix quantum neurons, which can provide guidance for quantum neural architecture exploration in the future. Experimental results demonstrate that the identified quantum neural architectures with mixed quantum neurons can achieve 90.62% of accuracy on the MNIST dataset, compared with 52.77% and 69.92% on the VQC and QuantumFlow, respectively.

研究动机与目标

• 为解决量子神经网络架构设计中系统性探索的缺失，特别是缺乏整合不同量子神经元类型的方法。
• 探究互补的量子神经元设计（如VQC，具有实数值权重、有限深度；QuantumFlow，具有二值权重、深层网络）是否可有效融合以提升性能。
• 提出在不依赖中间测量的前提下，连接具有不同数据编码方式的量子神经元的通用设计原则。
• 在标准机器学习基准（特别是MNIST）上评估所提出混合架构的性能，以验证其相对于现有QNN的优越性。

提出的方法

• 提出一种框架，通过对齐其数据编码方式与无测量接口，实现将不同架构的量子神经元（特别是VQC与QuantumFlow）进行混合。
• 设计一种混合网络结构QF-MixNN，其中VQC模块（具有实数值参数）通过保持量子相干性的酉变换与QuantumFlow层（具有二值权重）连接。
• 开发QF-Mixer工具，支持对混合量子神经网络架构进行系统性配置，可调节V-Layers、U-Layers与P-Layers的数量。
• 采用共享输入编码策略：将图像从28×28下采样至4×4、8×8或16×16以适配量子比特数量，数据通过幅值编码方式编码。
• 为VQC使用参数化量子线路，通过重复R1模块以增加深度；而QuantumFlow层则使用固定二值权重的纠缠门。
• 通过基于梯度的方法优化VQC组件，同时保持QuantumFlow层的二值权重结构以减少计算开销。

实验结果

研究问题

• RQ1 能否有意义地结合不同类型的量子神经元（如VQC与QuantumFlow）以构建更强大的量子神经网络？
• RQ2 是否可能在不引入昂贵中间测量的情况下，连接采用不同数据编码方式（如幅值编码与二值编码）的量子神经元？
• RQ3 将VQC的实数值权重与QuantumFlow的二值权重相结合，是否能提升在非线性可分数据集（如MNIST）上的性能？
• RQ4 V-Layers的数量如何影响混合架构的性能？在深度与优化稳定性之间存在何种权衡？

主要发现

• QF-MixNN在完整MNIST数据集上达到90.62%的准确率，显著优于基于VQC的QNN（52.77%）与QuantumFlow（69.92%）。
• 在MNIST-2（二分类）任务中，基于VQC的QNN略优于QF-MixNN（高出0.55%），表明线性可分性可能更有利于简单架构。
• 在更复杂的任务（MNIST-3、MNIST-4、MNIST-5与MNIST-10）中，QF-MixNN始终优于两种基线模型，且在MNIST上相较基于VQC的QNN实现37.85%的准确率提升。
• 增加QF-MixNN中V-Layers（R）的数量可提升准确率至一定点，当R从1增至3时，在MNIST-4上实现2.19%的准确率增益，但超过R=3后在更深配置中性能开始下降。
• 验证了量子神经元混合设计原则的有效性，实现了无需测量开销的多种量子神经元类型的无缝集成。
• QF-Mixer工具支持对混合架构的系统性探索，表明结合实数值与二值权重神经元的混合设计可在标准基准上实现更优性能。