[論文レビュー] QClusformer: A Quantum Transformer-based Framework for Unsupervised Visual Clustering

Xuan-Bac Nguyen, Hoang-Quan Nguyen+4 more|arXiv (Cornell University)|May 30, 2024

Retinal Imaging and AnalysisMedicine被引用数 3

ひとこと要約

QClusformer は、自己注意機構にパラメータ化された量子回路を統合した、未教師付き視覚クラスタリングのための新しい量子トランスフォーマー基盤を提案する。古典的データにおけるクラスタリング性能の向上を図るために、量子回路を活用する。MS-Celeb-1M および DeepFashion ベンチマークで最先端の結果を達成し、ペairwise F1スコア 74.50%、BCubed F1スコア 82.09% を記録した。これは、大規模クラスタリングタスクにおける量子強化注意機構の可能性を示している。

ABSTRACT

Unsupervised vision clustering, a cornerstone in computer vision, has been studied for decades, yielding significant outcomes across numerous vision tasks. However, these algorithms involve substantial computational demands when confronted with vast amounts of unlabeled data. Conversely, quantum computing holds promise in expediting unsupervised algorithms when handling large-scale databases. In this study, we introduce QClusformer, a pioneering Transformer-based framework leveraging quantum machines to tackle unsupervised vision clustering challenges. Specifically, we design the Transformer architecture, including the self-attention module and transformer blocks, from a quantum perspective to enable execution on quantum hardware. In addition, we present QClusformer, a variant based on the Transformer architecture, tailored for unsupervised vision clustering tasks. By integrating these elements into an end-to-end framework, QClusformer consistently outperforms previous methods running on classical computers. Empirical evaluations across diverse benchmarks, including MS-Celeb-1M and DeepFashion, underscore the superior performance of QClusformer compared to state-of-the-art methods.

研究の動機と目的

• 大規模なラベルなし視覚データセットにおける古典的未教師付きクラスタリングの高コスト問題に対処すること。
• 量子機械学習を活用し、量子コンピューティングの可能性を活かして未教師付きクラスタリングを加速・改善すること。
• 自己注意およびトランスフォーマーブロックにパラメータ化された量子回路を統合した量子トランスフォーマーのアーキテクチャを設計すること。
• 現在の NISQ ハードウェアの制限にもかかわらず、実世界の視覚ベンチマークにおける量子強化クラスタリングの実現可能性と優位性を実証すること。
• 量子重ね合わせともつれを活用したフレームワークを構築し、ノイズが多いまたは複雑なデータにおけるクラスタリングの精度と頑健性を向上させること。

提案手法

• クエリ、キー、値の計算にパラメータ化された量子回路（PQC）を用いた、自己注意機構を再考した量子トランスフォーマーのアーキテクチャを設計する。
• クエリ、キー、値ベクトルに個別のPQC（1Q-1K-1V）を実装するか、共有PQC（1QKV）を用いて、量子状態の符号化とユニタリ変換を実現する。
• パウリ行列の測定を用いて量子状態から古典的情報を抽出し、量子ビット数と回路深さを最小限に抑えつつ、クラスタリングに必要な特徴を保持する。
• 事前学習済み古典的CNNから抽出した特徴埋め込みを用いて、古典的バックプロパゲーションでエンドツーエンドのQClusformerフレームワークを訓練し、量子回路はパラメータ勾配を用いて最適化する。
• 初期クラスタリングにk近傍法（k-NN）を統合し、量子注意機構を用いて予測を精緻化し、クラスタ割り当てを改善する。
• ハードウェア制限のため、NISQ時代の量子ハードウェア上でT=1のトランスフォーマーブロックでQClusformerをシミュレートし、古典的ベースラインと公平な比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された量子回路を統合した量子トランスフォーマーのアーキテクチャは、古典的トランスフォーマーに基づくクラスタリングモデルを上回るのか？
• RQ2 量子自己注意機構の統合は、MS-Celeb-1M や DeepFashion のような大規模で現実世界の視覚データセットにおけるクラスタリング性能をどのように向上させるのか？
• RQ3 QClusformerフレームワークにおける異なるPQC設定（例：1Q-1K-1V 対 1QKV）が、クラスタリング精度とリソース効率に与える影響は何か？
• RQ4 QClusformer は、QKMeans などの先行量子クラスタリング手法と比較して、クラスタ数の変動に応じて F1 スコアおよび頑健性において優れているか？
• RQ5 重ね合わせやもつれといった量子コンピューティングの原則は、視覚タスクにおける注意機構の表現学習およびクラスタリング能力をどの程度向上させるのか？

主な発見

• MS-Celeb-1M の 584K テストスプリットにおいて、QClusformer はペアワイズ F1 スコア 74.50%、BCubed F1 スコア 82.09% を達成し、古典的 Clustering Transformer（63.31% および 79.74%）を上回った。
• DeepFashion データセットにおいて、QClusformer はペアワイズ F1 スコア 35.71%、BCubed F1 スコア 60.00% を達成し、K-means や DBSCAN といった古典的手法を上回り、古典的 Clusformer と同等の性能を示した。
• 100 クラスタ設定では、QClusformer は F1 スコアを QKMeans の 84.40%（ペアワイズ）から 85.36% へ、88.91%（BCubed）から 91.15% へと向上させ、先行量子クラスタリング手法を常に上回った。
• 1000 クラスタ設定では、QClusformer はペアワイズ F1 スコア 54.70%、BCubed F1 スコア 74.93% を達成し、同じ条件下で QKMeans（48.84% および 71.95%）を顕著に上回った。
• 1QKV 設定（クエリ、キー、値に1つのPQCを共有）は、最高の BCubed F1 スコア 60.10% を記録し、共有量子回路がリソースのオーバーヘッドを削減しながらもクラスタリング性能を維持できることを示した。
• アブレーションスタディの結果、1Q-1K-1V 設定がペアワイズ F1 スコア 35.71% の最高を記録し、注意計算におけるクエリ、キー、値の独立した量子処理の利点が顕著に示された。