[论文解读] Decentralizing Feature Extraction with Quantum Convolutional Neural Network for Automatic Speech Recognition

Chao-Han Huck Yang, Jun Qi+5 more|arXiv (Cornell University)|Oct 25, 2020

Quantum Computing Algorithms and Architecture参考文献 37被引用 152

一句话总结

本文提出一种基于垂直联邦学习的去中心化量子卷积神经网络（QCNN）框架，用于自动语音识别（ASR），以增强隐私保护与模型安全性。通过在NISQ时代量子硬件上使用变分量子线路（VQC）对梅尔频谱图特征进行编码，再将其传递给本地RNN模型，该方法在Google语音命令数据集上实现了95.12%的词识别准确率，超越了经典基线模型，同时保护了模型参数，并实现了可解释的、量子增强的特征学习。

ABSTRACT

We propose a novel decentralized feature extraction approach in federated learning to address privacy-preservation issues for speech recognition. It is built upon a quantum convolutional neural network (QCNN) composed of a quantum circuit encoder for feature extraction, and a recurrent neural network (RNN) based end-to-end acoustic model (AM). To enhance model parameter protection in a decentralized architecture, an input speech is first up-streamed to a quantum computing server to extract Mel-spectrogram, and the corresponding convolutional features are encoded using a quantum circuit algorithm with random parameters. The encoded features are then down-streamed to the local RNN model for the final recognition. The proposed decentralized framework takes advantage of the quantum learning progress to secure models and to avoid privacy leakage attacks. Testing on the Google Speech Commands Dataset, the proposed QCNN encoder attains a competitive accuracy of 95.12% in a decentralized model, which is better than the previous architectures using centralized RNN models with convolutional features. We also conduct an in-depth study of different quantum circuit encoder architectures to provide insights into designing QCNN-based feature extractors. Neural saliency analyses demonstrate a correlation between the proposed QCNN features, class activation maps, and input spectrograms. We provide an implementation for future studies.

研究动机与目标

• 应对在GDPR等法规下自动语音识别（ASR）中的隐私保护挑战。
• 通过垂直联邦学习（VFL）实现去中心化的特征提取，隔离模型参数并防止数据泄露。
• 通过变分量子线路（VQC）集成量子机器学习（QML），以增强特征表示与安全性。
• 证明经量子处理的特征可在ASR中达到或超过经典深度神经网络（DNN）的性能，同时保持可解释性。
• 提供可复现的、开源的实现，以促进未来在量子增强ASR领域的研究。

提出的方法

• 采用混合经典-量子架构，将输入语音上传至远程NISQ量子服务器进行特征编码。
• 利用带有随机参数的变分量子线路（VQC）实现量子卷积层，将梅尔频谱图特征编码为量子态。
• 通过幅值嵌入将经典输入特征（梅尔频谱图）编码为量子比特，随后应用参数化量子门进行特征变换。
• 将下游特征（编码为量子态）进行测量，并输入至本地基于RNN的声学模型（如RNNUAtt）中，实现端到端语音识别。
• 利用对噪声具有容忍能力的VQC设计，使其可在含5–50量子比特的近期NISQ设备上运行，确保实用性和抗噪能力。
• 使用Qiskit和PennyLane-Qiskit模拟噪声量子电路，并在真实或模拟的NISQ硬件上验证量子特征表示。

实验结果

研究问题

• RQ1 量子卷积神经网络（QCNN）是否能在去中心化设置中提升ASR的特征表示能力，同时保护隐私？
• RQ2 与经典卷积层相比，基于QCNN的特征提取在识别准确率和鲁棒性方面表现如何？
• RQ3 不同量子核大小（1×1、2×2、3×3）对模型性能和特征可分性有何影响？
• RQ4 量子编码特征与人类可解释的声学模式及类激活图之间的相关性如何？
• RQ5 在噪声NISQ硬件约束下，量子增强特征能否保持高性能，同时实现模型参数保护？

主要发现

• 所提出的QCNN-ASR框架在Google语音命令数据集上实现了95.12%的词识别准确率，优于基线RNNAtt模型（94.21%）及其他经典基线模型。
• 2×2量子核（4量子比特）实现最高识别准确率与最低方差，表明其在特征丰富性与计算可行性之间达到最佳平衡。
• 采用2×2核的量子编码特征与输入梅尔频谱图及类激活图的相关性更强，表明其具备更高的可解释性与判别能力。
• 3×3量子核（9量子比特）产生的特征更稀疏且判别性更弱，导致性能最差，表明更大的核并不总是能提升QCNN效果。
• 通过类激活图的神经显著性分析证实，QCNN特征能激活相关低频声学模式（如单词“on”中的特征），增强了模型可解释性。
• 与基线RNNAtt相比，增加量子卷积层使性能提升0.87%；与最佳经典基线（Conv + RNNAtt）相比，性能提升0.37%，证明了在特征学习中存在量子优势。