[논문 리뷰] word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement

Aliakbar Panahi, Seyran Saeedi외 1명|arXiv (Cornell University)|2019. 11. 12.

Quantum Computing Algorithms and Architecture인용 수 10

한 줄 요약

이 논문은 양자 텐서 곱 공간에 영감을 받은 word2ket 및 word2ketXS를 제안하며, 저장 공간을 최대 100,000배까지 줄일 수 있는 공간 효율적인 단어 임베딩 방법을 개발한다. 정확도 손실을 최소화하면서도, 더 작은 벡터의 낮은 질량 텐서 곱으로 단어 임베딩을 표현함으로써, 훈련 및 추론 과정에서 상당한 메모리 절감을 가능하게 하며, 자연어 처리(NLP) 작업에서 높은 성능을 유지한다.

ABSTRACT

Deep learning natural language processing models often use vector word embeddings, such as word2vec or GloVe, to represent words. A discrete sequence of words can be much more easily integrated with downstream neural layers if it is represented as a sequence of continuous vectors. Also, semantic relationships between words, learned from a text corpus, can be encoded in the relative configurations of the embedding vectors. However, storing and accessing embedding vectors for all words in a dictionary requires large amount of space, and may stain systems with limited GPU memory. Here, we used approaches inspired by quantum computing to propose two related methods, {\\em word2ket} and {\\em word2ketXS}, for storing word embedding matrix during training and inference in a highly efficient way. Our approach achieves a hundred-fold or more reduction in the space required to store the embeddings with almost no relative drop in accuracy in practical natural language processing tasks.

연구 동기 및 목표

• 딥 러닝 자연어 처리 모델에서 대규모 단어 임베딩 행렬의 높은 메모리 사용량 문제를 해결한다.
• 정확도가 크게 떨어지지 않도록 단어 임베딩의 저장 공간과 GPU 메모리 요구량을 줄인다.
• 밀도 임베딩 행렬을 효율적으로 압축하기 위해 양자 영감을 받은 텐서 곱 표현 방식을 탐색한다.
• 임베딩 행렬 크기를 최소화하여 자원 제약이 있는 하드웨어에서 효율적인 훈련과 추론을 가능하게 한다.
• 다양한 자연어 처리 벤치마크에서 메모리 절감과 모델 성능 간의 상호 교환 관계를 평가한다.

제안 방법

• 양자 영감을 받은 힐버트 공간 구성 방식을 사용하여 전체 $d \times p$ 단어 임베딩 행렬을 더 작은 낮은 질량의 구성 요소 벡터의 텐서 곱으로 표현한다.
• 질량 1 및 질량 2 텐서 분해(Word2ket)를 사용하여 임베딩을 단어당 $O(\log d)$ 매개변수로 압축한다.
• 더 높은 차수의 텐서 분해(최대 4차)를 사용하는 word2ketXS를 도입하여 모든 단어 임베딩을 동시에 인코딩함으로써 더욱 높은 압축률을 달성한다.
• 전체 임베딩 행렬을 작은 행렬 $F_{jk}$ 몇 개로 인코딩하여 매개변수 수를 $d \times p$에서 $O(\log d)$로 줄인다.
• 훈련 및 추론 과정에서 원래의 임베딩 행렬을 근사하기 위해 텐서 곱 분해를 적용한다.
• 텐서 곱 공간의 구조를 활용하여 단어 간 의미 관계를 유지하면서도 저장 공간을 크게 줄인다.

실험 결과

연구 질문

• RQ1 양자 영감을 받은 텐서 곱 분해 방식이 정확도 손실 없이 단어 임베딩 행렬의 저장 공간을 상당히 줄일 수 있는가?
• RQ2 word2ket 및 word2ketXS를 사용한 자연어 처리 모델의 성능이 다양한 벤치마크에서 표준 단어 임베딩과 비교해 어떻게 되는가?
• RQ3 word2ketXS에서 텐서 차수를 높일수록 압축 비율과 모델 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ4 새로운 임베딩 방법의 계산 오버헤드가 표준 훈련 및 추론과 비교해 어떻게 되는가?
• RQ5 제안된 방법이 큰 어휘 크기(예: $d = 10^5$)에서도 의미 유지 능력을 유지하면서 확장 가능한가?

주요 결과

• word2ketXS는 SQuAD 데이터셋에서 F1 스코어가 3% 미만으로 감소하는 것으로 나타났으며, 임베딩 저장 공간을 최대 100,000배까지 줄였다.
• IMDB 감성 분류 작업에서 word2ketXS는 임베딩 매개변수 수를 1,000배 줄였음에도 불구하고 기준 모델과 테스트 정확도가 0.5% 이내로 유지되었다.
• SQuAD 작업에서 순서 4의 word2ketXS를 사용할 경우 훈련 시간은 기준 모델의 5.8시간에서 9시간으로 증가했지만, 모델 훈련 동역학은 거의 동일하게 유지되었다.
• SQuAD 작업에서 저장 공간을 1,000배 줄였을 때 F1 스코어가 0.5점 뿐 감소하여, 압축에 대해 매우 강건함을 보였다.
• 대규모 어휘 크기에서도 높은 압축 효율성을 달성했으며, 순서 4 텐서 분해를 통해 거의 $10^5$배의 저장 공간 절감을 실현했다.
• 기존의 양자화, 정규화, 비트 인코딩 등의 압축 기법보다 공간 절감 효율성이 뛰어나 상위 성능을 보였다.