[논문 리뷰] A multiclass Q-NLP sentiment analysis experiment using DisCoCat

Victor D. Martínez, Guilhaume Leroy-Meline|arXiv (Cornell University)|2022. 09. 07.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 NISQ 시대의 양자 하드웨어에서 다중 클래스 감성 분석 프레임워크를 제안하며, DisCoCat 모델과 변분 양자 회로를 활용한다. 기존의 이중 클래스 작업을 행복, 두려움, 분노, 슬픔의 네 감정으로 확장하였다. COBYLA 최적화기를 사용한 양자 회로 학습을 통해 180개 샘플 데이터셋에서 F1 스코어 78%를 달성하였으며, 이는 DisCoCat가 양자 NLP 작업에 대해 확장 가능한 잠재력을 보여준다.

ABSTRACT

Sentiment analysis is a branch of Natural Language Processing (NLP) which goal is to assign sentiments or emotions to particular sentences or words. Performing this task is particularly useful for companies wishing to take into account customer feedback through chatbots or verbatim. This has been done extensively in the literature using various approaches, ranging from simple models to deep transformer neural networks. In this paper, we will tackle sentiment analysis in the Noisy Intermediate Scale Computing (NISQ) era, using the DisCoCat model of language. We will first present the basics of quantum computing and the DisCoCat model. This will enable us to define a general framework to perform NLP tasks on a quantum computer. We will then extend the two-class classification that was performed by Lorenz et al. (2021) to a four-class sentiment analysis experiment on a much larger dataset, showing the scalability of such a framework.

연구 동기 및 목표

• 기존의 이중 클래스 양자 감성 분류를 네 클래스 다중 클래스 감성 분석 작업으로 확장하기.
• 근접한 양자 하드웨어에서 DisCoCat 모델을 양자 자연어 처리(QNLP)에 적용할 수 있는 확장성과 실현 가능성 평가하기.
• 텐서 곱 표현과 후행 선택을 활용해 양자 강화 NLP 파이프라인으로 더 큰, 더 복잡한 감성 분류 작업을 처리할 수 있음을 보여주기.
• 실세계 감성 데이터셋에서 네 감정 클래스를 가진 다중 클래스 감성 데이터셋을 기반으로 교차 엔트로피 손실을 통해 학습된 변분 양자 회로의 성능 평가하기.
• 양자 데이터 인코딩에 의해 유도된 고차원 힐버트 공간에서 커널 기반 학습을 통해 NLP 분야에서의 양자 우월성 잠재력 탐색하기.

제안 방법

• 문장을 문법 트리로 분석하고, 개방형 모노이드 범주 툴킷인 DiscoPy를 사용해 DisCoCat 다이어그램으로 표현하기.
• 단어 임베딩의 텐서 곱 표현(TPR)을 통해 문장 의미를 인코딩하며, 고전적 방법 대비 양자 시스템의 지수적 확장 이점을 활용하기.
• 단어당 두 큐비트를 사용해 DisCoCat 다이어그램을 매개변수화된 양자 회로(Ansatz)로 매핑하며, 양자 얽힘과 초위상 상태를 위해 제어 Z-회전과 하다드 기저를 활용하기.
• 교차 엔트로피 손실 함수와 COBYLA 최적화기를 사용해 양자 회로의 매개변수를 학습하며, 노이즈가 있는 중간 규모 양자(NISQ) 장치에 적합한 기울기 없는 방법을 적용하기.
• 보조 큐비트(r 큐비트)가 0으로 측정된 경우에만 측정 결과를 유지함으로써 유효한 결과를 보장하기 위해 후행 선택 적용하기.
• 측정된 큐비트의 결과 확률를 수집하기 위해 양자 회로를 여러 번 실행하며, 이는 직접적으로 예측된 감성 클래스(|00⟩, |01⟩ 등)에 해당한다.

실험 결과

연구 질문

• RQ1 양자 NLP 파이프라인에서 DisCoCat 모델이 이중 클래스에서 네 클래스 감성 분류로 효과적으로 확장될 수 있는가?
• RQ2 다중 클래스 감성 데이터셋을 기반으로 학습된 변분 양자 회로의 성능은 F1 스코어와 혼동 패atters 측면에서 고전적 베이스라인과 비교해 어떻게 되는가?
• RQ3 양자 회로 아키텍처와 후행 선택 메커니즘이 근접한 양자 하드웨어에서 감성 분류의 확장 가능성을 얼마나 지원하는가?
• RQ4 문장 길이와 어휘 크기가 양자 NLP 파이프라인의 자원 요구량과 성능에 어떤 영향을 미치는가?
• RQ5 양자 회로 인코딩을 통한 양자 강화 커널 매핑이 감성 분석 작업에서의 양자 우월성으로 이르는 길을 제공하는가?

주요 결과

• 제안된 양자 NLP 파이프라인은 네 감성 클래스(행복, 두려움, 분노, 슬픔)에 대한 180개 샘플 테스트 세트에서 F1 스코어 78%를 달성하였다.
• 정규화된 혼동 행렬은 대각선에 고르게 집중되어 있어 높은 예측 정확도와 감정 클래스 간의 낮은 오분류를 나타내었다.
• 학습 곡선(그림 7)에서 에포크 수에 따라 감소하는 교차 엔트로피 손실을 통해 안정적인 수렴이 이루어졌음을 확인하였다.
• 보조 큐비트에 대한 후행 선택이 성공적으로 적용되어 유효한 측정 결과만 유지되었으며, 이는 신뢰할 수 있는 분류 결과를 보장하였다.
• 어휘, 문장 수, 문장 길이가 큐비트 수에 대해 선형 또는 부분선형으로 증가하는 경향을 보이며 향후 확장 가능성을 뒷받침하였다.
• 다소 유망한 결과에도 불구하고, 고전적 베이스라인(TF-IDF + 나이브 베이즈 등)은 95%의 정확도로 양자 모델를 뛰어넘었으며, 이는 현재 양자 회로의 깊이와 노이즈에 기인한 제한점을 드러내었다.