[論文レビュー] Quixer: A Quantum Transformer Model

Nikhil Khatri, Gabriel Matos+2 more|arXiv (Cornell University)|Jun 6, 2024

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

Quixerは、線形ユニタリの組み合わせ（LCU）と量子特異値変換（QSVT）を活用して、学習可能で非線形なアテンション機構を実現する新しい量子トランスフォーマーモデルを提案する。古典的シミュレーションにおいてペン・ツリーバンクデータセットで競争力ある言語モデル性能を達成し、実用的NLPタスクへの量子トランスフォーマーの初めての応用を示している。

ABSTRACT

Progress in the realisation of reliable large-scale quantum computers has motivated research into the design of quantum machine learning models. We present Quixer: a novel quantum transformer model which utilises the Linear Combination of Unitaries and Quantum Singular Value Transform primitives as building blocks. Quixer operates by preparing a superposition of tokens and applying a trainable non-linear transformation to this mix. We present the first results for a quantum transformer model applied to a practical language modelling task, obtaining results competitive with an equivalent classical baseline. In addition, we include resource estimates for evaluating the model on quantum hardware, and provide an open-source implementation for classical simulation. We conclude by highlighting the generality of Quixer, showing that its parameterised components can be substituted with fixed structures to yield new classes of quantum transformers.

研究の動機と目的

• 量子アルゴリズムの原 primitives を活用して、効率的なトークン混合を実現する量子トランスフォーマー・アーキテクチャの設計。
• 実世界の言語モデルタスク（例：ペン・ツリーバンクデータセット）への量子モデルの適用可能性の実証。
• モデルの古典的シミュレーションのためのリソース推定とオープンソース実装の提供。
• 可変パrameter部品を固定構造に置き換えることで、新しい量子トランスフォーマークラスを生成できる柔軟なフレームワークとしてQuixerを確立すること。

提案手法

• モデルは、トークンのユニタリを重ね合わせる線形ユニタリの組み合わせ（LCU）手順を用いて、入力トークンを量子振幅に符号化するスーパポジションを準備する。
• このスーパポジションに、位相回転に符号化された学習可能な多項式関数を用いた量子特異値変換（QSVT）を適用し、非線形変換を可能にする。
• トークン埋め込みが、パラメータ化された量子回路（PQC）をパrameter化する角度にマッピングされ、その後LCUおよびQSVT手順によってユニタリ変換される。
• 最終的な量子状態は複数の観測量を用いて測定され、得られた期待値は古典的に処理されてモデル出力が生成される。
• 異なるデータ符号化を用いてQSVTおよびLCU回路を繰り返すことで、モデルのアーキテクチャは多層構造への拡張をサポートする。
• 学習可能なコンponents（例：多項式係数やユニタリ構造）を固定構造に置き換えることで、新しい量子トランスフォーマー変種の生成が可能となる。

実験結果

リサーチクエスチョン

• RQ1 LCUおよびQSVTプリミティブに基づく量子トランスフォーマー・モデルは、標準的な言語モデルベンチマークで競争力ある性能を達成できるか？
• RQ2 古典的シミュレーション環境下で、Quixerの性能はペン・ツリーバンクデータセットにおける古典的トランスフォーマーベースラインと比べてどうか？
• RQ3 近位量子ハードウェア上でQuixerを評価するためのリソース要件と成功確率は何か？
• RQ4 学習可能なコンponentsを固定構造に置き換えることで、Quixerを柔軟なフレームワークとして一般化でき、新しいクラスの量子トランスフォーマーを生成できるか？
• RQ5 量子トランスフォーマー・モデルにおいて、モデルの表現力、勾配の大きさ、古典的シミュレーション可能性の間にはどのようなトレードオフがあるか？

主な発見

• Quixerは、古典的シミュレーションで訓練および評価された場合、ペン・ツリーバンクデータセットで古典的トランスフォーマーベースラインと同等の言語モデル性能を達成する。
• モデルは、実用的言語モデルタスクへの量子トランスフォーマーの最初の成功した応用を示し、量子NLPのためのプロトタイプを確立した。
• リソース推定の結果、モデルの成功確率はシステムサイズに比例して増加し、10個のランダムシードを用いた後選択成功確率の分析が行われ、平均値および極端値が報告された。
• モデルのアーキテクチャは非常に拡張可能である：多項式係数やユニタリ構造を固定することで、Quixerは新しい量子トランスフォーマー変種に適応可能であり、特定の選択により量子ボルツマンマシンを再現できる。
• QSVTおよびLCU回路を異なるデータ符号化で繰り返すことで、多層構造への拡張が可能であり、より深いアーキテクチャの構築が可能である。
• 有望な結果が得られている一方で、勾配の消失と高いパrameter数の問題に直面しており、これは近位デバイスにおけるスケーラビリティの阻害要因となる可能性がある。