[論文レビュー] QSAN: A Near-term Achievable Quantum Self-Attention Network

Jinjing Shi, Ren-Xin Zhao+3 more|arXiv (Cornell University)|Jul 14, 2022

Quantum Computing Algorithms and Architecture被引用数 9

ひとこと要約

本稿では、近い将来の量子デバイス向けに、量子論理類似度（QLS）と量子ビット自己注意スコア行列（QBSASM）を活用して、NISQデバイス上で自己注意を1ステップで完全に量子的に実装可能なQSANを提案する。MNIST二値分類において100%の精度を達成し、ハードウェア効率の良いアーキテクチャーより1.7倍、QAOAアーキテクチャーより2.3倍高速に収束する。測定オーバーヘッドも低減されている。

ABSTRACT

Self-Attention Mechanism (SAM) is good at capturing the internal connections of features and greatly improves the performance of machine learning models, espeacially requiring efficient characterization and feature extraction of high-dimensional data. A novel Quantum Self-Attention Network (QSAN) is proposed for image classification tasks on near-term quantum devices. First, a Quantum Self-Attention Mechanism (QSAM) including Quantum Logic Similarity (QLS) and Quantum Bit Self-Attention Score Matrix (QBSASM) is explored as the theoretical basis of QSAN to enhance the data representation of SAM. QLS is employed to prevent measurements from obtaining inner products to allow QSAN to be fully implemented on quantum computers, and QBSASM as a result of the evolution of QSAN to produce a density matrix that effectively reflects the attention distribution of the output. Then, the framework for one-step realization and quantum circuits of QSAN are designed for fully considering the compression of the measurement times to acquire QBSASM in the intermediate process, in which a quantum coordinate prototype is introduced as well in the quantum circuit for describing the mathematical relation between the output and control bits to facilitate programming. Ultimately, the method comparision and binary classification experiments on MNIST with the pennylane platform demonstrate that QSAN converges about 1.7x and 2.3x faster than hardware-efficient ansatz and QAOA ansatz respevtively with similar parameter configurations and 100% prediction accuracy, which indicates it has a better learning capability. QSAN is quite suitable for fast and in-depth analysis of the primary and secondary relationships of image and other data, which has great potential for applications of quantum computer vision from the perspective of enhancing the information extraction ability of models.

研究の動機と目的

• ノイズの多い中規模量子（NISQ）デバイスに適した完全に量子で実装可能な自己注意メカニズムの開発を目的とする。
• ハイブリッド量子古典的自己注意モデルの限界を克服し、1ステップで完全に量子計算によるスコアと出力を実現することを目的とする。
• 回路実行中に古典的データ抽出を最小限に抑えることで、量子自己注意における測定オーバーヘッドを低減することを目的とする。
• 状態空間と類似度計算における量子の利点を活用して、高次元データの表現と特徴抽出を強化することを目的とする。
• 将来の量子ニューラルネットワーク向けに、スケーラブルで規則的な量子回路アーキテクチャとプログラマブルな構造を設計することを目的とする。

提案手法

• 大規模なエンタングルド状態準備を回避し、直接測定に基づく類似度評価を可能にするために、古典的内積計算の代わりに量子論理類似度（QLS）を導入する。
• 量子進化中における完全な自己注意分布を符号化する密度行列表現として、量子ビット自己注意スコア行列（QBSASM）を提案する。
• 測定回数を最小限に抑える最適化を施した、9段階と5つの機能モジュールから成る完全な量子回路フレームワークを設計する。
• 制御出力ビットの関係を数学的に記述するための量子座標プロトタイプを統合し、体系的なプログラミングと将来的な最適化を可能にする。
• 近い将来の実装可能性を維持するため、入力データにアモイチュード符号化とアングル符号化を採用し、1層のアーキテクチャを用いる。
• PennyLaneプラットフォームを用いて、MNIST二値分類タスクにおけるQSANの実装とベンチマークを実施する。

実験結果

リサーチクエスチョン

• RQ1 近い将来の量子ハードウェア上で、古典的後処理に依存せずに完全に量子的な自己注意メカニズムを実現できるか？
• RQ2 状態表現と類似度計算における量子の利点を活用することで、自己注意メカニズムの効率をどのように向上させられるか？
• RQ3 回路レベルの最適化によって、量子自己注意モデルにおける測定オーバーヘッドをどの程度低減できるか？
• RQ4 量子自己注意ネットワークは、画像分類タスクにおいて、既存の変分量子モデルと比較してより高速に収束し、より高い精度を達成できるか？
• RQ5 QBSASM密度行列の構造は、量子自己注意分布をどのように反映し、スケーラブルな情報抽出を可能にするか？

主な発見

• QSANは、ベースラインモデルと同等のパrameter設定で、MNIST二値分類タスクにおいて訓練・テスト両方で100%の精度を達成した。
• 同一の実験設定下で、ハードウェア効率の良いアーキテクチャーより約1.7倍、QAOAアーキテクチャーより2.3倍高速に収束した。
• QSANの損失関数値は訓練全体を通じて低く保たれ、より強い学習能力とより効果的な最適化を示している。
• QBSASM密度行列はヒルバート空間において高次元構造を示し、古典的シミュレーションでは実現不可能な指数的情報表現能力を有している。
• QSANの収束速度はバッチサイズに敏感であり、15から20に増加させると性能が低下する傾向にあり、バッチサイズと学習ダイナミクスの間のトレードオフが示唆された。
• QSANフレームワークは拡張可能であり、古典的または量子機械学習アーキテクチャに埋め込むことができる。これにより、量子強化型トランスフォーマーの実現に道筋が開かれる。