[論文レビュー] Quantum Vision Transformers
本稿では、浅い、NISQに適したパラメータ化された量子回路と量子アテンション機構を備えた量子ビジョントランスフォーマーを提案する。特に、新規の複合行列ベースのトランスフォーマーを含む。シミュレーションおよび初期のハードウェア実験を通じて、医療画像データセットにおける分類性能が競争的であることを示し、アテンション計算において理論的な高速化が達成され、従来のモデルと比較して顕著に少ないパラメータ数を実現している。
In this work, quantum transformers are designed and analysed in detail by extending the state-of-the-art classical transformer neural network architectures known to be very performant in natural language processing and image analysis. Building upon the previous work, which uses parametrised quantum circuits for data loading and orthogonal neural layers, we introduce three types of quantum transformers for training and inference, including a quantum transformer based on compound matrices, which guarantees a theoretical advantage of the quantum attention mechanism compared to their classical counterpart both in terms of asymptotic run time and the number of model parameters. These quantum architectures can be built using shallow quantum circuits and produce qualitatively different classification models. The three proposed quantum attention layers vary on the spectrum between closely following the classical transformers and exhibiting more quantum characteristics. As building blocks of the quantum transformer, we propose a novel method for loading a matrix as quantum states as well as two new trainable quantum orthogonal layers adaptable to different levels of connectivity and quality of quantum computers. We performed extensive simulations of the quantum transformers on standard medical image datasets that showed competitively, and at times better performance compared to the classical benchmarks, including the best-in-class classical vision transformers. The quantum transformers we trained on these small-scale datasets require fewer parameters compared to standard classical benchmarks. Finally, we implemented our quantum transformers on superconducting quantum computers and obtained encouraging results for up to six qubit experiments.
研究の動機と目的
- 量子計算を用いて、従来のビジョントランスフォーマーを拡張する、性能向上を目的とした量子ニューラルネットワークアーキテクチャの設計。
- ユニタリおよび直交操作を活用し、本質的に量子的な表現力を向上させる、本質的に量子的なアテンション機構の開発。
- パラメータ数を数千から数百万にまで減らすことで、モデルの複雑さを低減しつつ、分類精度を維持または向上させる。
- アモルティッドエンコーディングとハミング重み保存ゲートを用いて、スケーラブルで微分可能な量子回路を実現し、NISQ時代のハードウェアに適応させる。
- 医療画像ベンチマークを用いて、実機およびシミュレーテッド量子ハードウェア上で、実現可能性と性能優位性を実証する。
提案手法
- パラメータ化された量子回路を用いたアテンション計算を特徴とする、3種類の量子トランスフォーマー（直交パッチワイズ、直交トランスフォーマー、複合トランスフォーマー）を提案する。
- 画像パッチを量子状態にマッピングするためのアモルティッドエンコーディングを採用し、入力データの重ね合わせによる効率的表現を実現する。
- スケーラビリティを確保し、回路の深さを低減するために、ハミング重み保存量子ゲートを用いる。一般の変分アーキテクチャとは異なり、スケーラビリティに劣る問題を回避する。
- ユニタリ操作を用いてトレーニング可能な行列乗算を実行する量子直交層を導入し、バックプロパゲーションと勾配計算を可能にする。
- 複合トランスフォーマーでは、クラシカルに困難なが、量子的に自然に効率的なクリフォード代数演算を用いた複合行列乗算を適用する。
- バタフライ回路などの対数的深さを持つ量子回路を用いて、量子ハードウェア上で大規模な行列演算を効率的に実装する。
実験結果
リサーチクエスチョン
- RQ1本質的に量子的なアテンション機構を備えた量子トランスフォーマーは、従来のトランスフォーマーと比較して、画像分類タスクにおいて競争的または優れた性能を達成できるか？
- RQ2量子直交層および複合行列演算の使用は、古典的同等物と比較して、アテンション層の計算複雑度において計算的優位性を提供するか？
- RQ3量子ビジョントランスフォーマーは、顕著に少ないパラメータ数（数千 vs 数百万）で良好な一般化性能を示し、過学習を緩和できるか？
- RQ4現在のNISQデバイスは、量子ビジョントランスフォーマーの実行をどの程度サポートできるか。ノイズやキュービット数の制限による制約は何か？
- RQ5量子トランスフォーマーの性能は、キュービット数と回路深さが増加するに従ってどのようにスケーリングするか。競争的な結果を得るためのハードウェア要件は何か？
主な発見
- 複合トランスフォーマーは、古典的手法と比較して、アテンション計算において理論的な2乗の高速化を達成し、パッチ数および次元数の増加に伴い、複雑度が有利にスケーリングする。
- 数値シミュレーションにおいて、量子ビジョントランスフォーマーはMedMNISTデータセットで、最先端の従来モデルと同等またはそれ以上の分類精度を達成した。
- 競争的な性能を達成するにあたり、60〜600個のRBSゲートと16〜32キュービットで十分であり、パラメータ数が少なく、ハードウェア効率が高いことが示された。
- 超伝導量子プロセッサを用いたハードウェア実験では、最大6キュービットで有望な結果が得られたが、回路サイズやキュービット数の増加に伴いノイズが増加した。
- ハミング重み保存ゲートとアモルティッドエンコーディングの使用により、スケーラブルで微分可能な量子回路が実現され、一般の変分量子回路よりもNISQデバイスに適した構造となった。
- 複合トランスフォーマーが高次元の複合行列を用いることで、古典的コンピュータでは不可能な演算が可能となり、モデルの表現力において独自の量子優位性を実現した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。