[論文レビュー] Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention

Ethan N. Evans, Matthew Cook+2 more|arXiv (Cornell University)|Mar 21, 2024

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

本稿では、データを量子振幅に符号化し、多量子ビットQFTを適用することで、カーネルベースの自己注意機構を実装する新しい変分量子トランスフォーマー構造SASQuaTChを提案する。このアーキテクチャは、量子フーリエ変換（QFT）を活用することで、カーネル計算における指数的高速化の可能性を有し、パラメータ数が少ないにもかかわらず、画像分類タスクで優れた性能を示す。

ABSTRACT

The recent exploding growth in size of state-of-the-art machine learning models highlights a well-known issue where exponential parameter growth, which has grown to trillions as in the case of the Generative Pre-trained Transformer (GPT), leads to training time and memory requirements which limit their advancement in the near term. The predominant models use the so-called transformer network and have a large field of applicability, including predicting text and images, classification, and even predicting solutions to the dynamics of physical systems. Here we present a variational quantum circuit architecture named Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh), which builds networks of qubits that perform analogous operations of the transformer network, namely the keystone self-attention operation, and leads to an exponential improvement in parameter complexity and run-time complexity over its classical counterpart. Our approach leverages recent insights from kernel-based operator learning in the context of predicting spatiotemporal systems to represent deep layers of a vision transformer network using simple gate operations and a set of multi-dimensional quantum Fourier transforms. To validate our approach, we consider image classification tasks in simulation and with hardware, where with only 9 qubits and a handful of parameters we are able to simultaneously embed and classify a grayscale image of handwritten digits with high accuracy.

研究の動機と目的

• 変分量子回路を用いて、量子フーリエ変換（QFT）を活用し、自己注意機構を効率的に実装する量子ニューラルネットワークアーキテクチャを開発すること。
• 学習可能な重み行列の代わりに固定のQFT操作を用いることで、自己注意機構における学習パラメータ数を削減すること。
• 古典的トランスフォーマーにおけるカーネルベースの自己注意の性質を、量子回路を用いて実現可能かどうかを検討すること。
• 変分量子回路を用いて、簡略化された画像分類タスクにおけるモデルの性能を評価すること。
• 提案された量子アーキテクチャの計算およびパラメータの複雑さを、古典的アーキテクチャと比較して分析すること。

提案手法

• 自己注意機構は、qubitの振幅に作用する量子フーリエ変換（QFT）を介して実装される変分量子回路を用いる。
• 入力データは、n量子ビットの量子状態の振幅に埋め込まれ、重ね合わせに基づく処理が可能になる。
• QFTはトークン間のチャネル混合を実行し、学習可能なクエリ／キー／バリュー行列を用いずに、フーリエ領域で注目スコアを効果的に計算する。
• パラメータ付きアーキテクチャ U_p(θ) が符号化された状態に適用され、古典的最適化により損失を最小化するようにパラメータθを更新する。
• 出力の測定には1つのリードアウト量子ビットが使用され、条件付き回転により最終的な分類意思決定が符号化される。
• 自己注意が定常カーネルとの畳み込みとして見なせるという事実を活用し、QFTが自然にカーネル演算子として機能する。

Figure 1 : Visual representation of a transformer model with self-attention. This figure is taken with permission from [ 6 ] .

実験結果

リサーチクエスチョン

• RQ1 学習可能な注目重みなしに、QFTを用いて量子トランスフォーマーにおける自己注意機構を効率的に実装できるか？
• RQ2 古典的自己注意と比較して、QFTに基づく量子注目層の計算およびパラメータの複雑さはどの程度か？
• RQ3 QFTに基づく量子トランスフォーマーの性能は、小規模な分類タスクにおいて古典的トランスフォーマーと比べてどうか？
• RQ4 自己注意のカーネル解釈は、QFTを用いた量子回路で自然に実現可能か？
• RQ5 このような量子注目機構を実現するにあたり、状態準備と測定の限界は何か？

主な発見

• SASQuaTChアーキテクチャは、パrameterを固定したフーリエ変換を用いる場合、最先端のBERTモデルの92–97％の精度を達成しており、QFTベースの注目が極めて有効であることが示唆される。
• 学習可能なクエリ、キー、バリュー行列を固定のQFT操作に置き換えることで、学習パラメータ数を顕著に削減できる。
• QFTにより、カーネル計算における指数的高速化が可能であり、n量子ビットではO(n²)のゲート操作で実現可能であるのに対し、古典的FFTではO(n·2ⁿ)である。
• 簡略化された画像分類タスクにおいて、量子回路が最小限のパラメータオーバーヘッドで注目機構を模倣可能であることが示された。
• 自己注意のカーネル的性質を活用し、QFTが周波数領域における自然なカーネル演算子として機能する。
• 潜在的な高速化にもかかわらず、振幅は繰り返し測定がなければ直接取得できないため、状態準備と測定が依然として非自明なボトルネックである。