[논문 리뷰] Recurrent Quantum Neural Networks

Johannes Bausch|arXiv (Cornell University)|2020. 06. 25.

Quantum Computing Algorithms and Architecture참고 문헌 36인용 수 22

한 줄 요약

이 논문은 유니타리 진동과 복소수 확률 증폭을 사용하는 매개변수화된 양자 회로를 이용한 반복 양자 신경망(QRNN)을 제안한다. 이는 비선형 활성화와 안정적인 기울기 흐름을 가능하게 한다. 이미지를 픽셀 단위로 처리함으로써 MNIST 숫자 분류에서 99.6%의 테스트 정확도를 달성하였으며, 제한된 큐비트 수에도 불구하고 양자 반복 모델이 시퀀스 작업에서 고전적 RNN보다 뛰어난 성능을 낼 수 있음을 보여준다.

ABSTRACT

Recurrent neural networks are the foundation of many sequence-to-sequence models in machine learning, such as machine translation and speech synthesis. In contrast, applied quantum computing is in its infancy. Nevertheless there already exist quantum machine learning models such as variational quantum eigensolvers which have been used successfully e.g. in the context of energy minimization tasks. In this work we construct a quantum recurrent neural network (QRNN) with demonstrable performance on non-trivial tasks such as sequence learning and integer digit classification. The QRNN cell is built from parametrized quantum neurons, which, in conjunction with amplitude amplification, create a nonlinear activation of polynomials of its inputs and cell state, and allow the extraction of a probability distribution over predicted classes at each step. To study the model's performance, we provide an implementation in pytorch, which allows the relatively efficient optimization of parametrized quantum circuits with thousands of parameters. We establish a QRNN training setup by benchmarking optimization hyperparameters, and analyse suitable network topologies for simple memorisation and sequence prediction tasks from Elman's seminal paper (1990) on temporal structure learning. We then proceed to evaluate the QRNN on MNIST classification, both by feeding the QRNN each image pixel-by-pixel; and by utilising modern data augmentation as preprocessing step. Finally, we analyse to what extent the unitary nature of the network counteracts the vanishing gradient problem that plagues many existing quantum classifiers and classical RNNs.

연구 동기 및 목표

• 유니타리 진동을 통해 기울기 소멸 문제를 피하는 반복 양자 신경망(QRNN)을 설계한다.
• PyTorch를 사용하여 고전적 하드웨어에서 수천 개의 매개변수를 가진 매개변수화된 양자 회로를 효과적으로 훈련시킬 수 있도록 한다.
• QRNN을 실제 시퀀스 학습 및 이미지 분류 작업, 특히 MNIST에 대해 평가한다.
• 유니타리 역학이 장기 시퀀스 모델링에서 기울기 감쇠를 어떻게 완화하는지 분석한다.
• Elman의 시퀀스 작업을 사용하여 QRNN의 초모수 및 네트워크 구조에 대한 벤치마크를 수립한다.

제안 방법

• 입력, 작업, 출력 단계에서 구조화된 유니타리 진동을 사용하는 매개변수화된 양자 뉴런을 활용해 QRNN 셀을 구성한다.
• 고정점 복소수 확률 증폭을 사용하여 측정를 통해 비선형성을 도입하면서도 거의 유니타리 진동을 유지한다.
• PyTorch를 사용하여 양자 회로를 통한 역전파(BPTP)를 통해 대규모 매개변수화된 양자 회로를 최적화한다.
• Elman(1990)의 시퀀스 기억 및 예측 작업과 함께, 픽셀 단위 입력을 사용한 MNIST 숫자 분류에 QRNN을 적용한다.
• 현대적인 데이터 증강 기법을 활용하여 MNIST의 일반화 성능을 향상시킨다.
• 유사한 매개변수 수와 최적화기 설정 조건에서 QRNN의 성능을 고전적 RNN 및 LSTM과 비교한다.

실험 결과

연구 질문

• RQ1 유니타리 양자 반복 네트워크는 장기 시퀀스 학습에서 기울기 소멸 문제를 효과적으로 완화할 수 있는가?
• RQ2 제한된 큐비트 수(8~14개)를 가진 QRNN이 MNIST 분류와 같은 실제 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 다양한 QRNN 구조와 초모수는 시퀀스 작업에서 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ4 복소수 확률 증폭의 사용이 양자 반복 아키텍처에서 효과적인 비선형 활성화를 가능하게 하는가?
• RQ5 표준 딥러닝 프레임워크인 PyTorch를 사용하여 고전적 하드웨어에서 QRNN을 효율적으로 훈련시킬 수 있는가?

주요 결과

• QRNN은 이미지를 픽셀 단위로 처리함으로써 MNIST 숫자 분류에서 99.6%의 테스트 정확도를 달성하였으며, 유사한 매개변수 수 조건에서 고전적 RNN 및 LSTM을 초월하였다.
• 데이터 증강을 적용한 QRNN은 모든 MNIST 숫자에서 약 99.2%의 테스트 정확도를 기록하여 뛰어난 일반화 성능을 입증하였다.
• 1000개의 길이를 가진 시퀀스에서 QRNN은 약 100회 훈련 스텝 내에 수렴하였으며, 안정적인 성능을 유지하였다. 반면 LSTM은 훈련 스텝 수가 증가하고 최종 성능도 열 劣하였다.
• RNN은 100개 토큰을 초과하는 시퀀스에서 10만 스텝 이내에 수렴하지 못하였으며, 이는 훈련 안정성 부족을 시사한다.
• QRNN 셀의 유니타리 성질이 기울기 노름을 유지하는 데 기여하여, 장기 시퀀스에서 기울기 감쇠를 완화할 수 있는 잠재적 메커니즘이 될 수 있음을 시사한다.
• 모델은 변이 양자 알고리즘이 실용적인 분류 작업을 위해 고전적 하드웨어에서 효율적으로 훈련되고 평가될 수 있음을 보여준다.