[논문 리뷰] Improving Document Classification with Multi-Sense Embeddings

Vivek Gupta, Ankit Saw외 3명|arXiv (Cornell University)|2019. 11. 18.

Topic Modeling참고 문헌 42인용 수 7

한 줄 요약

이 논문은 다중의미 단어 임베딩과 희박한, 저차원의 다양체 학습을 활용하여 텍스트 분류 성능을 향상시키는 새로운 문서 표현 방법인 SCDV-MS를 제안한다. 맥락을 이용해 단어의 의미를 해석하고, 흐릿한 군집 할당에 직접적으로 희박성 적용하며, 단어-주제 벡터를 저차원 공간으로 투영함으로써 SCDV에 비해 시간과 공간 복잡도를 감소시키면서도 다중 클래스 및 다중 레이블 텍스트 분류에서 최고 성능을 달성한다.

ABSTRACT

Efficient representation of text documents is an important building block in many NLP tasks. Research on long text categorization has shown that simple weighted averaging of word vectors for sentence representation often outperforms more sophisticated neural models. Recently proposed Sparse Composite Document Vector (SCDV) (Mekala et. al, 2017) extends this approach from sentences to documents using soft clustering over word vectors. However, SCDV disregards the multi-sense nature of words, and it also suffers from the curse of higher dimensionality. In this work, we address these shortcomings and propose SCDV-MS. SCDV-MS utilizes multi-sense word embeddings and learns a lower dimensional manifold. Through extensive experiments on multiple real-world datasets, we show that SCDV-MS embeddings outperform previous state-of-the-art embeddings on multi-class and multi-label text categorization tasks. Furthermore, SCDV-MS embeddings are more efficient than SCDV in terms of time and space complexity on textual classification tasks.

연구 동기 및 목표

• SCDV의 한계, 특히 단어의 의미 모호성 무시 및 고차원적이고 노이즈가 많은 표현 방식을 해결하기 위해.
• 단일의미 벡터 대신 맥락에 민감한 다중의미 단어 임베딩을 통합함으로써 문서 표현을 향상시키기 위해.
• 최종 문서 벡터가 아닌 단어-주제 벡터 수준에서 희박성을 적용하여 계산 및 저장 비용을 줄이기 위해.
• 딥 러닝 파이프라인에서 효과적으로 활용할 수 있도록 문서 임베딩을 저차원, 연속적이고 정보가 풍부한 다양체로 투영하기 위해.

제안 방법

• 문서 표현 과정에서 단어의 의미 모호성을 해결하기 위해 단일의미 단어 임베딩을 다중의미, 맥락 기반 임베딩으로 대체한다.
• 흐릿한 단어 군집 할당(단어-주제 벡터)에 임계값 기반 희박성을 직접 적용하여 노이즈를 감소시키고 효율성을 향상시킨다.
• 고빈도로 사용되는 공통 단어들인 'the'와 'and' 등의 부정적 누적 영향을 줄이기 위해 Doc2VecC로 초기화된 강건한 단어 벡터를 사용한다.
• 자동에코더를 사용하여 희박한 단어-주제 벡터를 저차원, 비선형 다양체로 투영함으로써 국소 이웃 구조를 유지한다.
• 지속적이고 저차원의 문서 표현을 학습하여 후속 분류 작업에 더 효과적이며 딥 러닝 아키텍처와 호환 가능하게 한다.
• 자동에코더를 통해 단어-주제 벡터의 차원을 감소시켜 성능 손실가지 않으면서도 빠른 추론과 낮은 저장 요구량을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일의미 임베딩에 비해 다중의미 단어 임베딩이 문서 분류 성능 향상에 기여하는가?
• RQ2 최종 문서 벡터가 아닌 단어-주제 벡터 수준에서 희박성을 적용할 경우 성능과 효율성이 향상되는가?
• RQ3 희박한 단어-주제 벡터에서 의미 구조를 유지하면서 저차원 연속적 표현을 학습할 수 있는가?
• RQ4 공통 단어에서 유래하는 노이즈가 문서 표현 품질에 미치는 영향은 무엇이며, 효과적으로 완화될 수 있는가?
• RQ5 분류 성능 손실 없이 단어-주제 벡터를 얼마나 압축할 수 있는가?

주요 결과

• SCDV-MS는 다중 클래스 및 다중 레이블 텍스트 분류 작업에서 SCDV와 BERT (pr)를 모두 능가하며 최고 성능을 달성한다.
• SCDV에 비해 SCDV-MS에서는 차원 감소에 따른 성능 손실가지 훨씬 낮으며, 12,000차원에서 2,000차원으로 감소시켜도 F1-score가 1% 감소하는 데 그친다.
• 단어-주제 벡터의 높은 희박성(98% 희박)으로 인해 SCDV(1% 희박)에 비해 특징 형성 시간이 43배 감소한다.
• 감소된 R-SCDV-MS 벡터(2,000개의 밀집 차원)를 사용할 경우 예측 시간이 8.5배 감소하여 뛰어난 효율성을 입증한다.
• R-SCDV-MS의 모델 크기는 SCDV보다 6배 작으며, 학습 속도는 1.25배 빠르므로 확장성 향상이 뚜렷하다.
• SCDV-MS의 단어-주제 벡터는 컨볼루션 신경망(CNNs)에서 직접 단어 임베딩으로 사용할 수 있으며, 20Newsgroup 데이터셋에서 원래의 동일 차원 단어 임베딩보다 뛰어난 성능을 보인다.