[논문 리뷰] Classical-to-quantum convolutional neural network transfer learning

Juhyeon Kim, Joonsuk Huh외 1명|arXiv (Cornell University)|2022. 08. 31.

Quantum Computing Algorithms and Architecture참고 문헌 56인용 수 6

한 줄 요약

이 논문은 사전에 훈련된 고전적 컨볼루션 신경망(CNN)을 사용해 양자 컨볼루션 신경망(QCNN)을 초기화하는 고전-양자 전이 학습 프레임워크를 제안한다. 이는 짧은 양자 회로 깊이로도 MNIST 데이터에 대해 높은 성능의 분류를 가능하게 하며, 고전적 전이 학습 대비 통계적으로 유의미한 정확도 향상을 달성한다. 이는 소규모 양자 회로를 사용하는 근접한 노이지 중간 규모 양자(NISQ) 시대에서의 양자 우월성을 입증한다.

ABSTRACT

Machine learning using quantum convolutional neural networks (QCNNs) has demonstrated success in both quantum and classical data classification. In previous studies, QCNNs attained a higher classification accuracy than their classical counterparts under the same training conditions in the few-parameter regime. However, the general performance of large-scale quantum models is difficult to examine because of the limited size of quantum circuits, which can be reliably implemented in the near future. We propose transfer learning as an effective strategy for utilizing small QCNNs in the noisy intermediate-scale quantum era to the full extent. In the classical-to-quantum transfer learning framework, a QCNN can solve complex classification problems without requiring a large-scale quantum circuit by utilizing a pre-trained classical convolutional neural network (CNN). We perform numerical simulations of QCNN models with various sets of quantum convolution and pooling operations for MNIST data classification under transfer learning, in which a classical CNN is trained with Fashion-MNIST data. The results show that transfer learning from classical to quantum CNN performs considerably better than purely classical transfer learning models under similar training conditions.

연구 동기 및 목표

• 근접한 양자 장치에서 제한된 양자 회로 크기 문제를 해결하기 위해 소규모 양자 모델을 효과적으로 활용할 수 있도록 하는 것.
• 고전적 CNN에서 전이 학습을 통해 훈련된 양자 컨볼루션 신경망(QCNN)이 고전적 모델을 능가할 수 있는지 탐색하는 것.
• 고전적 CNN에서 QCNN로 지식 전이를 통해 고전적 데이터 차원 축소가 필요 없이 제약된 양자 자원 조건에서도 분류 정확도를 향상시킬 수 있음을 입증하는 것.
• 통계적 유의성 검정을 통해 고전적 전이 학습 기준선과 비교하여 QCNN 성능을 검증함으로써 전이 학습에서의 양자 우월성 존재를 확인하는 것.

제안 방법

• 사전에 훈련된 고전적 CNN을 패션-MNIST 데이터에서 미세조정하고, 이를 MNIST 분류를 위한 특징 표현 추출에 사용한다.
• 추출된 특징들을 큐비트 상태로 매핑하여 계층적이고 얕은 깊이의 아키텍처를 가진 QCNN에 입력함으로써 양자 우월성을 유지한다.
• 입력 큐비트에서 공간적 특징을 처리하기 위해 양자 컨볼루션 및 풀링 연산—특히 ZX, 일반화된, 그리고 단순 풀링—을 적용한다.
• 하이브리드 양자-고전 최적화 루프를 사용해 QCNN을 훈련시키며, 기울기는 파rameter-shift 규칙을 통해 계산하고 고전적으로 업데이트한다.
• 전이 학습은 고전적 CNN의 학습된 가중치로 QCNN을 초기화함으로써 대규모 양자 회로의 필요성을 줄인다.
• 성능 차이의 통계적 유의성은 α = 0.05로 설정된 웰치의 t-검정을 사용해 평가하여 양자 우월성을 확인한다.

실험 결과

연구 질문

• RQ1 고전-양자 전이 학습을 통해 훈련된 QCNN가 짧은 양자 회로 깊이로도 MNIST에서 고전적 전이 학습 모델보다 더 높은 분류 정확도를 달성할 수 있는가?
• RQ2 제안된 C2Q 전이 학습 프레임워크가 고전적 데이터 차원 축소가 필요 없이 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 ZX, 일반화된, 또는 단순 풀링 중 어떤 양자 풀링 전략이 C2Q 전이 학습 설정에서 가장 통계적으로 유의미한 성능 향상을 가져오는가?
• RQ4 QCNN의 성능 향상이 고전적 모델 대비 통계적으로 유의미한가? 이는 NISQ 시대에서 잠재적 양자 우월성을 시사하는가?

주요 결과

• 고전-양자 전이 학습 프레임워크는 여러 구성에서 고전적 전이 학습 모델보다 통계적으로 유의미한 정확도 향상을 달성했으며, p-값이 0.05 이하였다.
• 2D CNN와 일반화된 풀링을 사용한 8 대 9 분류 작업에서 C2Q 모델은 p-값 0.0002를 기록하여 강력한 통계적 유의성과 고전 기준선을 초월한 정확도를 확보했다.
• 1D CNN와 ZX 풀링을 사용한 0 대 1 분류 작업에서 C2Q 모델은 p-값 0.0312를 기록하여 통계적으로 유의미한 우월성을 보였다.
• 76개 파라미터를 가진 2D CNN와 일반화된 풀링을 사용한 8 대 9 작업에서 p-값은 0.0002였으며, 이는 다양한 학습 작업에서의 일관된 열등성과 우월성을 입증했다.
• 고전적 CNN를 특징 추출기로 사용함으로써 고전적 데이터 차원 축소가 필요 없이 성공적으로 피하기 위한 방법을 구현했다.
• 결과는 C2Q 전이 학습을 통해 훈련된 QCNN가 유사한 파라미터 제약 조건 하에서 고전적 모델을 능가할 수 있음을 확인하며, NISQ 장치에서의 양자 우월성 향한 실현 가능한 길을 제시한다.