[논문 리뷰] Quantum-inspired Complex Word Embedding

Qiuchi Li, Sagar Uprety외 2명|arXiv (Cornell University)|2018. 05. 29.

Topic Modeling참고 문헌 18인용 수 6

한 줄 요약

이 논문은 복소수 벡터를 사용한 힐버트 공간 표현을 통해 어휘 조합에서 나타나는 잠재적 의미를 모델링하기 위해 양자에 영향을 받은 복소수 단어 임베딩을 제안한다. 어휘 조합을 복소수 위상이 포함된 어휘 상태의 중첩 또는 혼합으로 간주함으로써, '펭귄'과 '날아오르다'처럼 의미적 대비를 보이는 비고전적 상호작용을 포착할 수 있으며, 다섯 개인 이진 문장 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 혼합 모델(CE-Mix)은 기존 비양자 접근 방식을 능가한다.

ABSTRACT

A challenging task for word embeddings is to capture the emergent meaning or polarity of a combination of individual words. For example, existing approaches in word embeddings will assign high probabilities to the words "Penguin" and "Fly" if they frequently co-occur, but it fails to capture the fact that they occur in an opposite sense - Penguins do not fly. We hypothesize that humans do not associate a single polarity or sentiment to each word. The word contributes to the overall polarity of a combination of words depending upon which other words it is combined with. This is analogous to the behavior of microscopic particles which exist in all possible states at the same time and interfere with each other to give rise to new states depending upon their relative phases. We make use of the Hilbert Space representation of such particles in Quantum Mechanics where we subscribe a relative phase to each word, which is a complex number, and investigate two such quantum inspired models to derive the meaning of a combination of words. The proposed models achieve better performances than state-of-the-art non-quantum models on the binary sentence classification task.

연구 동기 및 목표

• 어휘 조합에서 나타나는 잠재적 의미 또는 의미적 대비(예: "펭귄"과 "날아오르다")를 포착하는 데 도전하는 것.
• 실수 벡터에 의존하는 고전적 단어 임베딩이 간섭 또는 위상에 의존하는 의미를 모델링하지 못하는 한계를 극복하는 것.
• 자연어에서 양자 유사 간섭 효과를 더 잘 반영하기 위해 복소수를 단어 표현에 활용하는 것의 탐구.
• 복소수 임베딩을 갖는 양자에 영향을 받은 모델이 비양자 기반 모델 대비 문장 수준의 의미 분류 성능을 향상시키는지 조사하는 것.
• 초월성과 혼합 모델을 포함한 두 가지 다른 양자에 영향을 받은 모델이 문장 의미를 효과적으로 표현할 수 있는지 평가하는 것.

제안 방법

• 각 단어를 힐버트 공간 내 복소수 벡터로 표현하며, 진폭은 공출현 통계를, 복소수 위상은 맥락적 극성 또는 간섭 효과를 코딩한다.
• 어휘 조합을 개별 어휘 상태의 중첩(CE-Sup) 또는 어휘 프로젝터의 고전적 혼합(CE-Mix)으로 모델링하며, 모두 복소수 표현을 사용한다.
• 복소수 단어 벡터의 내적을 사용해 유사도를 계산하고 문장 수준의 의미를 유추하며, 위상 차이를 통해 양자 간섭을 활용한다.
• 이중 문장 분류를 위한 교차 엔트로피 손실을 사용해 Keras 및 TensorFlow 기반의 신경망 프레임워크로 모델을 훈련시킨다.
• 복소수 활성화 함수와 역전파를 포함한 복소수 연산을 네트워크 전반에 걸쳐 적용하여 위상 정보를 유지한다.
• 어휘 조합을 위상에 의존하는 간섭이 있는 상태의 중첩으로 해석할 수 있는 QWeb(양자 웹) 이론 프레임워크를 활용하여 비고전적 의미 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제안된 양자에 영향을 받은 복소수 임베딩 모델이 문장 분류 과제에서 최신 기술 수준(SOTA)의 비양자 접근 방식을 능가하는가?
• RQ2 혼합 모델(CE-Mix)이 조합적 어휘 의미를 포착하는 데 중첩 모델(CE-Sup)보다 더 효과적인가?
• RQ3 위상 정보를 포함한 복소수 단어 표현이 실수 벡터 임베딩을 초월해 의미 분류 성능을 향상시킬 수 있는가?
• RQ4 양자에 영향을 받은 힐버트 공간 표현을 사용함으로써 의미적 대비와 잠재적 의미를 더 잘 모델링할 수 있는가?
• RQ5 word2vec, fastText 및 실수 벡터 임베딩과 같은 강력한 기반 모델 대비 성능 향상이 통계적으로 유의미한가?

주요 결과

• CE-Mix 모델은 다섯 개의 벤치마크 데이터셋 중 네 개에서 가장 높은 정확도를 기록했으며, CR에서 81.1%, MPQA에서 86.6%, MR에서 79.8%, SST에서 83.3%, SUBJ에서 92.8%를 기록했다.
• CE-Mix 모델은 모든 데이터셋에서 Unigram-TFIDF 기반 모델보다 유의미하게 높은 성능을 보였으며(p < 0.05), 통계적 우월성을 입증했다.
• CE-Mix 모델은 MPQA를 제외한 모든 데이터셋에서 word2vec, fastText 및 DictRep 기반 모델을 p값 < 0.05로 뛰어넘었으며, 일관된 성능 향상을 확인했다.
• CE-Sup 모델은 비양자 모델과 유사한 성능를 보였지만 CE-Mix에 비해 열등했으며, 모든 데이터셋에서 통계적 유의미성 없음(p > 0.05)을 보였다.
• 실수 벡터 기반 모델(Real-Embed)은 복소수 모델 모두에 의해 모든 데이터셋에서 유의미하게 뛰어났다(p < 0.05), 복소수 표현의 우월성을 확인했다.
• 결과는 문장을 고전적 혼합 모델(CE-Mix)로 표현하는 것이 잠재적 개념의 중첩(CE-Sup)보다 더 효과적임을 시사하며, 실제 의미적 의존성과의 더 나은 일치를 나타낸다.