[論文レビュー] Quantum Self-Attention Neural Networks for Text Classification

Guangxi Li, Xuanqiang Zhao+1 more|arXiv (Cornell University)|May 11, 2022

Quantum Computing Algorithms and Architecture被引用数 13

ひとこと要約

本論文は、ガウス射影量子自己注意機構を用いて、パラメトリック量子回路と自己注意メカニズムを統合する新しい量子ニューラルネットワークアーキテクチャ、Quantum Self-Attention Neural Networks (QSANN) を提案する。QSANN は、古典的自己注意ネットワークおよび既存の構文に基づく量子 NLP モデルを上回る優れた文書分類性能を達成し、近接量子デバイスにおけるスケーラビリティとノイズ耐性を示している。

ABSTRACT

An emerging direction of quantum computing is to establish meaningful quantum applications in various fields of artificial intelligence, including natural language processing (NLP). Although some efforts based on syntactic analysis have opened the door to research in Quantum NLP (QNLP), limitations such as heavy syntactic preprocessing and syntax-dependent network architecture make them impracticable on larger and real-world data sets. In this paper, we propose a new simple network architecture, called the quantum self-attention neural network (QSANN), which can compensate for these limitations. Specifically, we introduce the self-attention mechanism into quantum neural networks and then utilize a Gaussian projected quantum self-attention serving as a sensible quantum version of self-attention. As a result, QSANN is effective and scalable on larger data sets and has the desirable property of being implementable on near-term quantum devices. In particular, our QSANN outperforms the best existing QNLP model based on syntactic analysis as well as a simple classical self-attention neural network in numerical experiments of text classification tasks on public data sets. We further show that our method exhibits robustness to low-level quantum noises and showcases resilience to quantum neural network architectures.

研究の動機と目的

• 既存の量子自然言語処理（QNLP）モデルが構文的前処理に大きく依存しており、大規模データセットにスケーラブルでないという限界を解消すること。
• 近接ノイズ中間規模量子（NISQ）デバイスで実装可能であり、柔軟でスケーラブルな量子ニューラルネットワークアーキテクチャを開発すること。
• 自己注意メカニズムがテキスト分類において複雑な語の相関関係を捉える可能性を量子ニューラルネットワークで探ること。
• 現実の量子ノイズと変化する量子回路アーキテクチャの下での、提案モデルの耐性を評価すること。
• 実装可能な回路構造を持つ実用的で、量子優位性の可能性を示せる量子モデルを用いて、NLP タスクにおける量子優位性の可能性を実証すること。

提案手法

• 入力テキストシーケンスをアモニチュード符号化により高次元の量子状態に変換する。
• クエリ、キー、値の変換を量子ゲートを用いて実行する、自己注意メカニズムに従った構造のパラメトリック量子回路（PQC）を採用する。
• ガウス射影測定を用いて量子状態間の重なりを測定することで、ガウス射影量子自己注意（GPQSA）層が注意スコアを計算する。
• 現在の NISQ ハードウェアとの互換性を確保するため、パウリ-Z 測定を用いた浅い量子回路を採用する。
• 回路アーキテクチャの耐性を評価するために、異なるエンタングルメントパターンを持つ4種類のアンザッツ（アンザッツ-0 から アンザッツ-3）を設計する。
• 実際のハードウェア制約をテストするために、誤差率 $ p = 0.1 $ のデポラライジングチャネルを用いてノイズをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 自己注意に基づく量子ニューラルネットワークは、既存の構文依存 QNLP モデルを上回る性能を、文書分類タスクで示せるか？
• RQ2 提案された QSANN モデルは、公開の文書分類ベンチマークにおいて、古典的自己注意ニューラルネットワークと比較してどの程度の性能を示すか？
• RQ3 QSANN は量子回路アーキテクチャ（アンザッツ設計）の変化および量子ノイズに対してどの程度耐性を示すか？
• RQ4 ガウス射影量子自己注意メカニズムは、テキストにおける長距離依存関係と関連語の相関関係を効果的に捉えられるか？
• RQ5 QSANN アーキテクチャは、qubit 数が限られ、ノイズが発生する近接量子デバイスでも実装可能でスケーラブルか？

主な発見

• アンザッツ-0 および アンザッツ-3 を用いて、MC データセットでは 67.74% ± 0.00%、RP データセットでも 67.74% ± 0.00% のテスト精度を達成し、最高の既存 QNLP モデルおよび古典的自己注意ネットワークを上回った。
• 4つのアンザッツタイプすべてにおいて一貫した性能を維持し、テスト精度が 67.03% から 67.74% の間で変動したため、回路アーキテクチャの変化に対して高い耐性を示した。
• デポラライジングノイズチャネル（$ p = 0.1 $）の下でも安定した性能を維持したため、低レベルの量子ノイズに対して耐性があることが示された。
• 注意係数の可視化により、モデルが入力シーケンスの最も関連性の高い語に的確に注目していることが確認され、注意メカニズムの解釈可能性が裏付けられた。
• MC および RP データセットの両方で、すべてのアンザッツにおいて 100% のトレーニング精度を達成したため、強力なモデル容量と効果的な最適化が示された。
• 浅い回路とパウリ-Z 測定の使用により、現在の NISQ デバイスへの直接実装が可能となり、近い将来の量子ハードウェアに実用的であることが示された。