[논문 리뷰] QClusformer: A Quantum Transformer-based Framework for Unsupervised Visual Clustering

Xuan-Bac Nguyen, Hoang-Quan Nguyen외 4명|arXiv (Cornell University)|2024. 05. 30.

Retinal Imaging and AnalysisMedicine인용 수 3

한 줄 요약

QClusformer는 고전적 데이터에서 자가주의 시각 클러스터링 성능을 향상시키기 위해 자기주의 기반으로 파arameterized 양자 회로를 활용한 새로운 양자 트랜스포머 기반 프레임워크를 제안한다. MS-Celeb-1M 및 DeepFashion 벤치마크에서 각각 74.50%의 Pairwise F1 스코어와 82.09%의 BCubed F1 스코어를 기록하여 최신 기술 수준을 달성하며, 대규모 클러스터링 작업에서 양자 강화된 주의 메커니즘의 잠재력을 입증한다.

ABSTRACT

Unsupervised vision clustering, a cornerstone in computer vision, has been studied for decades, yielding significant outcomes across numerous vision tasks. However, these algorithms involve substantial computational demands when confronted with vast amounts of unlabeled data. Conversely, quantum computing holds promise in expediting unsupervised algorithms when handling large-scale databases. In this study, we introduce QClusformer, a pioneering Transformer-based framework leveraging quantum machines to tackle unsupervised vision clustering challenges. Specifically, we design the Transformer architecture, including the self-attention module and transformer blocks, from a quantum perspective to enable execution on quantum hardware. In addition, we present QClusformer, a variant based on the Transformer architecture, tailored for unsupervised vision clustering tasks. By integrating these elements into an end-to-end framework, QClusformer consistently outperforms previous methods running on classical computers. Empirical evaluations across diverse benchmarks, including MS-Celeb-1M and DeepFashion, underscore the superior performance of QClusformer compared to state-of-the-art methods.

연구 동기 및 목표

• 대규모 레이블이 없는 시각 데이터셋에서 고전적 자가주의 클러스터링의 높은 계산 비용을 해결한다.
• 양자 기반 머신러닝을 통해 자가주의 클러스터링의 가속화 및 향상을 위한 양자 컴퓨팅의 잠재력을 탐색한다.
• 자기주의 및 트랜스포머 블록에 파라미터화된 양자 회로를 통합한 양자 트랜스포머 아키텍처를 설계하여 종단 간 클러스터링을 구현한다.
• 현재 NISQ 하드웨어 제약에도 불구하고 실제 비전 벤치마크에서 양자 강화 클러스터링의 실현 가능성과 우수성을 입증한다.
• 양자 중첩과 얽힘을 활용한 프레임워크를 구축하여 노이즈가 많거나 복잡한 데이터에서 클러스터링 정확도와 강인성을 향상시킨다.

제안 방법

• 쿼리, 키, 밸류 계산을 위한 파라미터화된 양자 회로(PQC)를 활용해 자기주의 기반의 자기주의 메커니즘을 재구성한 양자 트랜스포머 아키텍처를 설계한다.
• 쿼리, 키, 밸류 벡터에 대해 별도의 PQC(1Q-1K-1V) 또는 공유 PQC(1QKV)를 구현하여 양자 상태 인코딩 및 유니터리 진동을 가능하게 한다.
• 양자 상태에서 고전적 정보를 추출하기 위해 파울리 행렬 측정을 활용하여 큐비트 수와 회로 깊이를 최소화하면서도 클러스터링에 관련된 특징을 유지한다.
• 사전 훈련된 고전적 CNN를 통해 추출한 특징 임bedding에 기반해 고전적 역전파를 사용해 종단 간 QClusformer 프레임워크를 훈련하고, 파라미터화된 기울기를 통해 양자 회로를 최적화한다.
• 초기 클러스터링을 위해 k-최근접 이웃(k-NN)을 통합하고, 양자 주의 메커니즘을 활용해 예측을 정밀 조정하여 클러스터 할당을 향상시킨다.
• 하드웨어 제약으로 인해 NISQ 시대의 양자 하드웨어에서 T=1 트랜스포머 블록을 사용해 QClusformer를 시뮬레이션하고, 고전적 기준과의 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 파라미터화된 양자 회로를 갖춘 양자 트랜스포머 아키텍처가 고전적 트랜스포머 기반 클러스터링 모델보다 자가주의 시각 클러스터링에서 우월한 성능을 보일 수 있는가?
• RQ2 양자 자기주의 메커니즘의 통합이 MS-Celeb-1M 및 DeepFashion와 같은 대규모 실세계 비전 데이터셋에서 클러스터링 성능을 어떻게 향상시키는가?
• RQ3 QClusformer 프레임워크 내에서 다양한 PQC 구성(예: 1Q-1K-1V 대비 1QKV)이 클러스터링 정확도와 자원 효율성에 미치는 영향은 무엇인가?
• RQ4 QClusformer는 클러스터 수가 다양할 때 기존의 양자 클러스터링 방법인 QKMeans와 비교해 F1 스코어와 강인성 측면에서 어떻게 다른가?
• RQ5 중첩과 얽힘과 같은 양자 컴퓨팅 원리가 비전 작업에서 주의 메커니즘의 표현 학습 및 클러스터링 능력을 어느 정도 향상시킬 수 있는가?

주요 결과

• MS-Celeb-1M의 584K 테스트 스플릿에서 QClusformer는 Pairwise F1 스코어 74.50%와 BCubed F1 스코어 82.09%를 기록하여 고전적 Clustering Transformer(63.31% 및 79.74%)를 초월했다.
• DeepFashion 데이터셋에서 QClusformer는 Pairwise F1 스코어 35.71%와 BCubed F1 스코어 60.00%를 기록하여 K-means 및 DBSCAN과 같은 고전적 방법을 능가했으며, 고전적 Clusformer와도 경쟁력을 유지했다.
• 100클래스 설정에서 QClusformer는 QKMeans의 84.40%에서 85.36%(Pairwise)로, 88.91%에서 91.15%(BCubed)로 F1 스코어를 향상시켜 이전의 양자 클러스터링 방법보다 일관된 성능 향상을 보였다.
• 1000클래스 설정에서 QClusformer는 Pairwise F1 스코어 54.70%와 BCubed F1 스코어 74.93%를 기록하여 동일 조건에서 QKMeans(48.84% 및 71.95%)를 크게 앞서며 성능을 뛰어넘었다.
• 1QKV 구성(쿼리, 키, 밸류에 동일한 PQC 사용)이 BCubed F1 스코어 60.10%를 기록하여 공유된 양자 회로가 자원 오버헤드를 줄이면서도 클러스터링 성능을 유지할 수 있음을 시사했다.
• 제거 실험을 통해 1Q-1K-1V 설정이 Pairwise F1 스코어 35.71%를 기록하여 주의 계산에서 쿼리, 키, 밸류에 대해 독립적인 양자 처리가 유리함을 입증했다.