[논문 리뷰] CBOW Is Not All You Need: Combining CBOW with the Compositional Matrix Space Model

Florian Mai, Lukas Galke외 1명|arXiv (Cornell University)|2019. 02. 18.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 조합 행렬 공간 모델(CMSM)을 위한 비지도, 효율적인 학습 방법인 CMOW를 제안한다. CMOW는 행렬 곱셈을 통해 어순 인식 능력을 향상시켜 CBOW의 어휘 내용 기억 능력을 보완한다. 하이브리드 CBOW-CMOW 모델은 언어 탐색 작업에서 평균 8% 향상되고, 11개의 감독된 하류 작업에서 평균 1.2% 향상되며, 두 모델의 상호보완적 강점을 결합한다.

ABSTRACT

Continuous Bag of Words (CBOW) is a powerful text embedding method. Due to its strong capabilities to encode word content, CBOW embeddings perform well on a wide range of downstream tasks while being efficient to compute. However, CBOW is not capable of capturing the word order. The reason is that the computation of CBOW's word embeddings is commutative, i.e., embeddings of XYZ and ZYX are the same. In order to address this shortcoming, we propose a learning algorithm for the Continuous Matrix Space Model, which we call Continual Multiplication of Words (CMOW). Our algorithm is an adaptation of word2vec, so that it can be trained on large quantities of unlabeled text. We empirically show that CMOW better captures linguistic properties, but it is inferior to CBOW in memorizing word content. Motivated by these findings, we propose a hybrid model that combines the strengths of CBOW and CMOW. Our results show that the hybrid CBOW-CMOW-model retains CBOW's strong ability to memorize word content while at the same time substantially improving its ability to encode other linguistic information by 8%. As a result, the hybrid also performs better on 8 out of 11 supervised downstream tasks with an average improvement of 1.2%.

연구 동기 및 목표

• 벡터 덧셈의 교환 법칙 때문에 CBOW가 어순을 포착하지 못하는 문제를 해결하기 위해.
• 행렬 기반 어휘 표현을 사용하여 조합 행렬 공간 모델(CMSM)에 대해 처음으로 비지도이고 확장 가능한 학습 체계를 개발하기 위해.
• CBOW와 CMOW를 하이브리드 모델로 조합하여 CBOW의 어휘 내용 기억 능력을 유지하면서 언어적 구조의 인코딩 능력을 향상시키기 위해.
• CBOW와 CMOW의 상호보완적 강점을 언어 탐색 및 하류 NLP 작업에서 실증적으로 평가하기 위해.

제안 방법

• 어휘 행렬을 벡터가 아닌 행렬로 학습하기 위해 CBOW 목적함수와 초기화 전략을 수정하여, 순서 조합을 위한 행렬 곱셈을 가능하게 한다.
• 비교가 불가능한 행렬 곱셈을 조합 연산으로 사용하여 어순 정보를 유지한다.
• 대규모의 레이블이 없는 텍스트에서 수정된 스킵그램 유사 목적함수를 사용해 엔드 투 엔드로 모델을 학습시킨다.
• 하이브리드 아키텍처에서 CBOW와 CMOW 임베딩을 동시에 학습시키는 공동 학습 체계를 도입한다.
• 고성능 GPU 기반 행렬 곱셈을 적용하여 추론 속도를 유지하며, 약 ~71,000문장/초의 속도를 달성한다.
• 자주 나타나는 이항어를 사전 계산하고 동적 프로그래밍을 사용하여 순차적 곱셈 단계의 수를 줄인다.

실험 결과

연구 질문

• RQ1 조합 행렬 공간 모델는 CBOW 유사 목적함수를 사용해 비지도이고 대규모 환경에서 효과적으로 학습될 수 있는가?
• RQ2 CMOW의 언어 표현 능력은 어순 민감도와 어휘 내용 기억 능력 측면에서 CBOW와 비교해 어떻게 다른가?
• RQ3 CBOW와 CMOW를 결합하면 개별적으로 사용할 때보다 하류 NLP 작업에서 성능 향상이 얼마나 이루어지는가?
• RQ4 어순 인식이 필요한 작업, 예를 들어 감성 분석 및 질문 분류에서 하이브리드 모델은 더 뛰어난 성능을 내는가?

주요 결과

• 하이브리드 CBOW-CMOW 모델은 CBOW 단독 사용 대비 언어 탐색 작업에서 평균 8% 향상된다.
• 11개의 감독된 하류 작업에서 하이브리드 모델은 CBOW 대비 평균 1.2% 향상되었으며, 특히 감성 분석(SST2, SST5)과 질문 분류(TREC)에서 뚜렷한 성과 향상이 있었다.
• CMOW는 어순 및 문법적 구조와 같은 언어적 특성을 잘 포착하지만, CBOW는 어휘 내용 기억 작업에서 CMOW를 능가한다.
• 하이브리드 모델은 CBOW의 강력한 어휘 내용 기억 능력을 유지하면서 동시에 언어적 구조를 인코딩하는 능력을 크게 향상시켰다.
• CMOW는 약 ~71,000문장/초의 문장 인코딩 속도를 달성했으며, CBOW의 61,000문장/초와 유사하여 대규모 응용에 적합하다.
• 하이브리드 모델은 11개의 하류 작업 중 8개에서 CBOW를 능가했으며, 두 작업에서만 CBOW가 약 0.6% 우수한 성능을 보였다.