[논문 리뷰] Toward Quantum Machine Translation of Syntactically Distinct Languages

Mina Abbaszade, Mariam Zomorodi‐Moghadam외 2명|arXiv (Cornell University)|2023. 07. 31.

Quantum Computing Algorithms and ArchitectureComputer Science인용 수 3

한 줄 요약

이 연구는 노이즈가 있는 중규모 양자(NISQ) 장치를 사용하여 양자 기반 기계 번역을 탐색하며, 파arametrized 양자 회로를 고전적 LSTM 기반 인코더-디코더 모델과 통합한다. 연구에서는 기울기 각도가 샤논 엔트로피를 통해 최적화되는 방식으로 영어와 페르시아어의 양자 회로 간 효과적인 통신 채널 역할을 함을 입증하였으며, 160개 샘플 데이터셋에서 Adam 최적화기로 평균 절대 오차는 0.03, 손실은 0.016을 기록하였다.

ABSTRACT

The present study aims to explore the feasibility of language translation using quantum natural language processing algorithms on noisy intermediate-scale quantum (NISQ) devices. Classical methods in natural language processing (NLP) struggle with handling large-scale computations required for complex language tasks, but quantum NLP on NISQ devices holds promise in harnessing quantum parallelism and entanglement to efficiently process and analyze vast amounts of linguistic data, potentially revolutionizing NLP applications. Our research endeavors to pave the way for quantum neural machine translation, which could potentially offer advantages over classical methods in the future. We employ Shannon entropy to demonstrate the significant role of some appropriate angles of rotation gates in the performance of parametrized quantum circuits. In particular, we utilize these angles (parameters) as a means of communication between quantum circuits of different languages. To achieve our objective, we adopt the encoder-decoder model of classical neural networks and implement the translation task using long short-term memory (LSTM). Our experiments involved 160 samples comprising English sentences and their Persian translations. We trained the models with different optimisers implementing stochastic gradient descent (SGD) as primary and subsequently incorporating two additional optimizers in conjunction with SGD. Notably, we achieved optimal results-with mean absolute error of 0.03, mean squared error of 0.002, and 0.016 loss-by training the best model, consisting of two LSTM layers and using the Adam optimiser. Our small dataset, though consisting of simple synonymous sentences with word-to-word mappings, points to the utility of Shannon entropy as a figure of merit in more complex machine translation models for intricate sentence structures.

연구 동기 및 목표

• NISQ 장치에서 양자 자연어 처리(QNLP)의 기계 번역 가능성을 탐구하기.
• 대규모 언어 데이터를 처리하는 데 있어 고전적 NLP의 계산적 한계를 극복하기 위해 양자 병렬성과 얽힘을 탐색하기.
• 회전 게이트 파rameter가 언어별 양자 회로 간 의미 전달 수단으로 작용하는 고전-양자 인터페이스 수립하기.
• 소규모이지만 대표적인 데이터셋에서 고전적 최적화기와 표준 NLP 메트릭을 사용해 양자 강화 번역 모델의 성능 평가하기.
• 샤논 엔트로피가 번역 작업에서 양자 회로 파rameter를 조정하는 데 있어 유의미한 성능 지표로 기능할 수 있음을 입증하기.

제안 방법

• 문장 간 번역을 위한 순차적 번역을 위해 장기 순환 신경망(LSTM) 기반의 하이브리드 양자-고전 인코더-디코더 아키텍처를 사용하였다.
• DisCoCat 모델과 ZX-계산법을 활용해 영어 및 페르시아어 문장 쌍을 파arametrized 양자 회로(PQC)로 매핑하였다.
• 언어적 의미를 인코딩하고 양자 회로 간 언어 간 소통를 가능하게 하기 위해 회전 게이트 각도를 학습 가능한 파rameter로 사용하였다.
• 양자 회로 출력의 정보량을 정량화하고 최적화하기 위해 샤논 엔트로피를 적용하였으며, 이를 통해 파rameter 조정을 이끌었다.
• 1000 에포크 동안 확률적 경사 하강법(SGD), Adam, RMSprop 최적화기를 사용해 모델을 훈련하였으며, 약 200 에포크 후 조기 수렴이 관찰되었다.
• 평균 절대 오차(MAE), 평균 제곱 오차(MSE), 손실을 사용해 성능을 평가하였으며, 결과는 최적화기 및 모델 구성별로 보고되었다.

실험 결과

연구 질문

• RQ1 NISQ 장치에서 파arametrized 양자 회로가 최소한의 고전적 데이터로 다국어 문장 번역을 효과적으로 모델링할 수 있는가?
• RQ2 양자 회로의 회전 게이트 각도가 기계 번역 작업 성능에 어떤 영향을 미치는가?
• RQ3 샤논 엔트로피가 NLP 응용 분야에서 양자 회로 파rameter를 최적화하는 데 있어 얼마나 신뢰할 수 있는 메트릭으로 기능하는가?
• RQ4 SGD, Adam, RMSprop와 같은 다양한 최적화기의 성능은 양자 강화 LSTM 모델의 번역 훈련에서 어떻게 비교되는가?
• RQ5 제한된 큐비트 수(예: 8~12 큐비트)를 가진 양자 회로가 고전적 단어 임베딩 수준의 의미적 상관관계를 인코딩하고 처리할 수 있는가?

주요 결과

• 두 개의 LSTM 레이어를 사용하고 Adam 최적화기를 적용한 최고의 성능 모델은 평균 절대 오차(MAE) 0.03, 평균 제곱 오차(MSE) 0.002, 손실 0.016를 기록하였다.
• Adam 최적화기를 사용할 경우 약 200 에포크 후 검증 손실이 수렴하여 효율적인 훈련 동역학을 보였다.
• Adam 최적화기가 SGD 및 RMSprop를 모두 능가했으며, 테스트된 모든 최적화기 중에서 가장 낮은 손실(0.01574)과 MAE(0.0324)를 기록하였다.
• 샤논 엔트로피는 특히 회전 게이트 각도와 관련하여 양자 회로 파arameter 평가 및 조정에 있어 유용한 성능 지표로 확인되었다.
• 8~12 큐비트를 가진 양자 회로가 고차원 벡터 공간(예: 256~4096 차원)을 표현할 수 있음을 입증하여 압축된 의미 인코딩의 잠재력을 보여주었다.
• 결과적으로, 양자 강화 모델이 소규모이고 문법적으로 단순한 데이터셋에서 낮은 오차율을 달성할 수 있음을 시사하며, 향후 더 복잡한 문장 구조로의 확장 가능성을 열어 놓았다.