[論文レビュー] Decentralizing Feature Extraction with Quantum Convolutional Neural Network for Automatic Speech Recognition

Chao-Han Huck Yang, Jun Qi+5 more|arXiv (Cornell University)|Oct 25, 2020

Quantum Computing Algorithms and Architecture参考文献 37被引用数 152

ひとこと要約

本論文は、プライバシー保護とモデルセキュリティを向上させるために垂直フェデレーテッドラーニングを用いた分散型量子畳み込みニューラルネットワーク（QCNN）フレームワークを提案する。NISQ時代の量子ハードウェア上で変分量子回路（VQC）を用いてメルスペクトログ램特徴を符号化し、その後ローカルなRNNモデルに渡すことで、Google Speech Commandsデータセットで95.12%の単語認識正答率を達成。これは古典的ベースラインを上回り、モデルパラメータを保持しつつ、解釈可能で量子による強化を受ける特徴抽出を実現する。

ABSTRACT

We propose a novel decentralized feature extraction approach in federated learning to address privacy-preservation issues for speech recognition. It is built upon a quantum convolutional neural network (QCNN) composed of a quantum circuit encoder for feature extraction, and a recurrent neural network (RNN) based end-to-end acoustic model (AM). To enhance model parameter protection in a decentralized architecture, an input speech is first up-streamed to a quantum computing server to extract Mel-spectrogram, and the corresponding convolutional features are encoded using a quantum circuit algorithm with random parameters. The encoded features are then down-streamed to the local RNN model for the final recognition. The proposed decentralized framework takes advantage of the quantum learning progress to secure models and to avoid privacy leakage attacks. Testing on the Google Speech Commands Dataset, the proposed QCNN encoder attains a competitive accuracy of 95.12% in a decentralized model, which is better than the previous architectures using centralized RNN models with convolutional features. We also conduct an in-depth study of different quantum circuit encoder architectures to provide insights into designing QCNN-based feature extractors. Neural saliency analyses demonstrate a correlation between the proposed QCNN features, class activation maps, and input spectrograms. We provide an implementation for future studies.

研究の動機と目的

• GDPRなどの規制下における自動音声認識（ASR）におけるプライバシー保護の課題に対処する。
• 垂直フェデレーテッドラーニング（VFL）を用いて特徴抽出を分散化し、モデルパラメータを隔離し、データ漏洩を防止する。
• 変分量子回路（VQC）による量子機械学習（QML）の統合により、特徴表現の向上とセキュリティ強化を図る。
• 量子処理された特徴が、解釈可能性を保ちつつ、古典的DNN性能に匹敵または上回ることを実証する。
• 今後の量子強化ASR分野の研究を促進するため、再現可能でオープンソースの実装を提供する。

提案手法

• 入力音声をリモートのNISQ量子サーバーにアップロードし、ハイブリッド古典量子アーキテクチャを用いて特徴符号化を行う。
• ランダムパラメータを有する変分量子回路（VQC）を用いた量子畳み込み層を適用し、メルスペクトログラム特徴を量子状態に符号化する。
• 古典的入力特徴（メルスペクトログラム）を振幅埋め込みによりキュービットに変換し、パラメータ化された量子ゲートを用いて特徴変換を行う。
• 下流の特徴（量子状態に符号化されたもの）を測定し、エンドツーエンド音声認識用にローカルなRNNベースの音響モデル（例：RNNUAtt）に供給する。
• ノイズに強いVQC設計を活用し、5〜50キュービットのニアタイムNISQデバイスでも動作可能であり、ノイズ耐性と実用性を確保する。
• QiskitおよびPennylane-Qiskitを用いてノイズのある量子回路をシミュレートし、実機またはシミュレーテッドNISQハードウェア上で量子特徴表現の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 分散型環境下でプライバシーを保持しつつ、量子畳み込みニューラルネットワーク（QCNN）がASRにおける特徴表現を改善できるか？
• RQ2 QCNNベースの特徴抽出の性能は、認識正答率および耐障害性の観点から、古典的畳み込み層と比べてどのように異なるか？
• RQ3 異なる量子カーネルサイズ（1×1、2×2、3×3）がモデル性能および特徴の識別性に与える影響は何か？
• RQ4 量子符号化された特徴は、人間が解釈可能な音響パターンやクラスアクティベーションマップとどの程度相関しているか？
• RQ5 ノイズのあるNISQハードウェア制約下でも、量子強化特徴は高い性能を維持できるか？ また、モデルパラメータの保護は可能か？

主な発見

• 提案されたQCNN-ASRフレームワークは、Google Speech Commandsデータセットで95.12%の単語認識正答率を達成。これはベースラインのRNNAttモデル（94.21%）および他の古典的ベースラインを上回る。
• 2×2の量子カーネル（4キュービット）が最も高い認識正答率と最小の分散を示し、特徴の豊かさと計算可能性の最適なバランスを示している。
• 2×2カーネルを用いた量子符号化特徴は、入力メルスペクトログラムおよびクラスアクティベーションマップとより強い相関を示し、解釈可能性および識別力の向上を示している。
• 3×3の量子カーネル（9キュービット）は疎で識別性の低い特徴を生成し、最も悪い性能を示した。これは、より大きなカーネルが常にQCNNの成果を向上させるわけではないことを示唆している。
• クラスアクティベーションマッピングによるニューラルサリエンシー解析により、QCNN特徴は「on」の語に見られるような関連する低周波音響パターンを活性化しており、モデルの解釈性が向上していることが確認された。
• ベースラインのRNNAttに比べて0.87%、最良の古典的ベースライン（Conv + RNNAtt）に比べて0.37%の性能向上が見られ、特徴学習における量子優位性が実証された。