[논문 리뷰] Reservoir Computing via Quantum Recurrent Neural Networks

Samuel Yen-Chi Chen, Daniel Fry외 3명|arXiv (Cornell University)|2022. 11. 04.

Neural Networks and Reservoir Computing인용 수 6

한 줄 요약

이 논문은 랜덤으로 초기화된 양자 순환 신경망(QRNN, QGRU, QLSTM)을 역동적 저장소로 사용하는 양자 리저버보어 계산 프레임워크를 제안한다. 여기서는 유일하게 최종 고전적 선형 레이어만 학습된다. 수치 시뮬레이션 결과, 이 방법은 훨씬 줄어든 학습 시간과 양자 회로 평가 수를 바탕으로 전체로 학습된 QRNN 모델과 유사한 성능을 달성하며, 근접한 양자 하드웨어에서 더 빠른 수렴과 향상된 하드웨어 효율성을 보여준다.

ABSTRACT

Recent developments in quantum computing and machine learning have propelled the interdisciplinary study of quantum machine learning. Sequential modeling is an important task with high scientific and commercial value. Existing VQC or QNN-based methods require significant computational resources to perform the gradient-based optimization of a larger number of quantum circuit parameters. The major drawback is that such quantum gradient calculation requires a large amount of circuit evaluation, posing challenges in current near-term quantum hardware and simulation software. In this work, we approach sequential modeling by applying a reservoir computing (RC) framework to quantum recurrent neural networks (QRNN-RC) that are based on classical RNN, LSTM and GRU. The main idea to this RC approach is that the QRNN with randomly initialized weights is treated as a dynamical system and only the final classical linear layer is trained. Our numerical simulations show that the QRNN-RC can reach results comparable to fully trained QRNN models for several function approximation and time series prediction tasks. Since the QRNN training complexity is significantly reduced, the proposed model trains notably faster. In this work we also compare to corresponding classical RNN-based RC implementations and show that the quantum version learns faster by requiring fewer training epochs in most cases. Our results demonstrate a new possibility to utilize quantum neural network for sequential modeling with greater quantum hardware efficiency, an important design consideration for noisy intermediate-scale quantum (NISQ) computers.

연구 동기 및 목표

• 순차 모델링 과제에서 변량 양자 회로의 높은 계산 비용과 느린 학습을 해결하기 위해.
• 학습 중에 양자 회로 평가 횟수를 최소화하여 양자 하드웨어 효율성을 향상시키기 위해.
• 양자 리저버보어 계산(QRNN-RC)이 고전적 RNN 기반 리저버보어 계산보다 학습 속도와 정확도에서 유사하거나 이를 초월할 수 있는지 탐색하기 위해.
• 노이즈가 있는 양자 시뮬레이션 조건에서 함수 근사 및 시계열 예측 과제에 대한 QRNN-RC의 성능을 평가하기 위해.
• 양자 리저버보어 프레임워크에서 유일하게 최종 선형 레이어만 학습시킴으로써 자원 요구량을 줄이고도 경쟁 가능한 성능을 유지할 수 있음을 보여주기 위해.

제안 방법

• 역동적 저장소로 랜덤으로 초기화된 QRNN, QGRU, QLSTM 아키텍처를 사용하여 양자 저장소를 구현한다. 이는 고정된 역동 시스템으로 작용한다.
• 양자 회로의 파라미터는 초기화 후 고정되어 있으며, 유일하게 최종 고전적 선형 레이어만 표준 최적화 방법을 통해 학습된다.
• 저장소는 양자 게이트를 통해 순차 입력를 처리하여 고차원 상태 표현을 생성한다.
• 양자 저장소의 출력은 고전적 선형 레이어에 입력되며, 이는 평균 제곱 오차(MSE) 손실을 사용하여 학습된다.
• 프레임워크는 노이즈가 있는 양자 시뮬레이션 조건에서 함수 근사(NARMA5, NARMA10) 및 시계열 예측 과제에서 평가된다.
• 학습 효율성은 수렴 속도와 목표 성능에 도달하기 위해 필요한 에포크 수로 측정된다.

실험 결과

연구 질문

• RQ1 학습되지 않은 양자 RNN을 사용하는 양자 리저버보어 계산 프레임워크가 전체로 학습된 QRNN 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 QRNN-RC는 전체 최적화된 QRNN보다 더 적은 양자 회로 평가 횟수와 학습 에포크 수가 필요한가?
• RQ3 QRNN-RC는 수렴 속도와 정확도 측면에서 고전적 RNN 기반 리저버보어 계산과 비교해 어떻게 성능을 내는가?
• RQ4 RC 접근법은 노이즈가 있는 중간 규모 양자(NISQ) 환경에서 노이즈 민감도를 줄이고 안정성을 향상시키는가?
• RQ5 QRNN-RC는 순차 과제에서 고전적 대비 학습 속도와 예측 정확도에서 승리할 수 있는가?

주요 결과

• QRNN-RC는 NARMA5 및 NARMA10 함수 근사 과제에서 전체로 학습된 QRNN 모델과 유사한 예측 성능을 달성했다.
• QRNN-RC는 전체 최적화된 QRNN보다 훨씬 적은 학습 에포크를 요구했으며, QGRU-RC는 15 에포크 만에 QGRU 성능을 따라잡았다.
• NARMA5 및 NARMA10에서 QLSTM-RC는 30 에포크 후 전체 최적화된 QLSTM를 능가했으며, 이는 더 빠른 수렴을 의미한다.
• 노이즈 시뮬레이션 조건에서 QRNN-RC는 더 매끄러운 예측 곡선과 덜 노이즈가 섞인 손실 곡선을 보였으며, NISQ 노이즈에 대한 더 높은 내성성을 시사한다.
• 대부분의 경우 QRNN-RC는 고전적 RNN 기반 RC보다 더 적은 학습 에포크를 요구했으며, 더 빠른 학습을 보여주었다.
• 양자 파라미터에 대한 기울기 계산을 제거함으로써 이 방법은 양자 자원 요구량을 줄였으며, NISQ 장치에 대한 하드웨어 효율성을 향상시켰다.