[논문 리뷰] Decentralizing Feature Extraction with Quantum Convolutional Neural Network for Automatic Speech Recognition

Chao-Han Huck Yang, Jun Qi외 5명|arXiv (Cornell University)|2020. 10. 25.

Quantum Computing Algorithms and Architecture참고 문헌 37인용 수 152

한 줄 요약

이 논문은 개인정보 보호 및 모델 보안을 햖스하기 위해 수직 분산 학습(Vertical Federated Learning, VFL)을 사용하는 분산형 양자 컨volution 신경망(QCNN) 프레임워크를 제안한다. NISQ 시대의 양자 하드웨어에서 변이 양자 회로(Variational Quantum Circuit, VQC)를 통해 멜스펙트로그램 특징을 인코딩한 후, 로컬 RNN 모델에 전달함으로써, 구글 음성 명령 데이터셋에서 단어 인식 정확도 95.12%를 달성한다. 이는 기존의 고전적 기준을 뛰어넘으며, 모델 파라미터를 유지하면서도 해석 가능한 양자 강화 특징 학습을 가능하게 한다.

ABSTRACT

We propose a novel decentralized feature extraction approach in federated learning to address privacy-preservation issues for speech recognition. It is built upon a quantum convolutional neural network (QCNN) composed of a quantum circuit encoder for feature extraction, and a recurrent neural network (RNN) based end-to-end acoustic model (AM). To enhance model parameter protection in a decentralized architecture, an input speech is first up-streamed to a quantum computing server to extract Mel-spectrogram, and the corresponding convolutional features are encoded using a quantum circuit algorithm with random parameters. The encoded features are then down-streamed to the local RNN model for the final recognition. The proposed decentralized framework takes advantage of the quantum learning progress to secure models and to avoid privacy leakage attacks. Testing on the Google Speech Commands Dataset, the proposed QCNN encoder attains a competitive accuracy of 95.12% in a decentralized model, which is better than the previous architectures using centralized RNN models with convolutional features. We also conduct an in-depth study of different quantum circuit encoder architectures to provide insights into designing QCNN-based feature extractors. Neural saliency analyses demonstrate a correlation between the proposed QCNN features, class activation maps, and input spectrograms. We provide an implementation for future studies.

연구 동기 및 목표

• GDPR와 같은 규정 하에 따른 자동 음성 인식(ASR)의 개인정보 보호 도전 과제를 해결한다.
• 수직 분산 학습(VFL)을 통해 특징 추출을 분산화하여 모델 파라미터를 격리하고 데이터 泄露를 방지한다.
• 변이 양자 회로(VQC)를 통한 양자 기계 학습(QML) 통합으로 특징 표현력과 보안성을 향상시킨다.
• 양자 처리 특징이 고전적 DNN 성능을 따라하거나 능가할 수 있음을 입증하며, 동시에 해석 가능성을 유지한다.
• 향후 양자 강화 ASR 연구를 위한 재현 가능하고 오픈소스 구현을 제공한다.

제안 방법

• 입력 음성가 원격 NISQ 양자 서버에 업로드하여 특징 인코딩을 수행하는 하이브리드 고전-양자 아키텍처를 활용한다.
• 무작위 파라미터를 가진 변이 양자 회로(VQC)를 사용해 멜스펙트로그램 특징을 양자 상태로 인코딩하는 양자 컨볼루션 레이어를 적용한다.
• 고전적 입력 특징(Mel-spectrograms)을 진폭 임bedding을 통해 큐비트로 인코딩한 후, 파라미터화된 양자 게이트를 사용해 특징 변환을 수행한다.
• 하류 특징(양자 상태로 인코딩됨)은 측정되어 로컬 RNN 기반 음성 모델(RNNUAtt 등)에 공급되어 엔드 투 엔드 음성 인식을 수행한다.
• 노이즈에 강건한 VQC 설계를 활용해 5~50 큐비트의 근접 NISQ 장치에서 기능하도록 하여 실용성과 노이즈에 대한 내성을 확보한다.
• Qiskit 및 Pennylane-Qiskit를 사용해 노이즈 있는 양자 회로를 시뮬레이션하고, 실제 또는 시뮬레이션된 NISQ 하드웨어에서 양자 특징 표현을 검증한다.

실험 결과

연구 질문

• RQ1 분산 환경에서 개인정보 보호를 유지하면서도 QCNN가 ASR의 특징 표현을 향상시킬 수 있는가?
• RQ2 QCNN 기반 특징 추출 성능가 고전적 컨볼루션 레이어와 비교해 인식 정확도 및 내성 면에서 어떻게 다를까?
• RQ3 다양한 양자 커널 크기(1×1, 2×2, 3×3)가 모델 성능과 특징의 구분 능력에 어떤 영향을 미치는가?
• RQ4 양자로 인코딩된 특징이 인간이 이해할 수 있는 청각 패턴과 클래스 활성화 맵과 얼마나 관련이 있는가?
• RQ5 노이즈가 많은 NISQ 하드웨어 제약 조건 하에서도 양자 강화 특징이 고성능을 유지하면서 모델 파라미터 보호를 가능하게 할 수 있는가?

주요 결과

• 제안된 QCNN-ASR 프레임워크는 구글 음성 명령 데이터셋에서 95.12%의 단어 인식 정확도를 달성했으며, 기준 RNNAtt 모델(94.21%)과 다른 고전적 기준을 모두 능가한다.
• 2×2 양자 커널(4 큐비트)이 가장 높은 인식 정확도와 가장 낮은 분산을 보이며, 특징 풍부성와 계산 가능성 사이의 최적 균형을 확보한다.
• 2×2 커널을 사용한 양자로 인코딩된 특징은 고전적 컨볼루션 특징보다 입력 멜스펙트로그램과 클래스 활성화 맵과 더 강한 상관관계를 보이며, 향상된 해석 가능성과 구분 능력을 나타낸다.
• 3×3 양자 커널(9 큐비트)은 더 흐린 특징과 더 낮은 구분 능력을 유도해 성능이 가장 열 劣하며, 더 큰 커널이 항상 QCNN 성능 향상에 기여하지는 않음을 시사한다.
• 클래스 활성화 맵을 통한 신경 소실 분석을 통해 QCNN 특징가 관련된 저주파 청각 패턴(예: "on" 단어의 패턴)을 활성화함으로써 모델의 해석 가능성을 향상시킨다.
• 기본 RNNAtt 대비 0.87% 향상된 성능과 최고의 고전적 기준(컨볼루션 + RNNAtt) 대비 0.37% 향상된 성능을 기록하며, 특징 학습에서의 양자 우월성을 입증한다.