[논문 리뷰] Text classification with word embedding regularization and soft similarity measure

Vít Novotný, Eniafe Festus Ayetiran외 2명|arXiv (Cornell University)|2020. 03. 10.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 텍스트 분류 성능과 효율성을 향상시키기 위해 직교화와 양자화를 통한 단어 임베딩 정규화를 제안한다. 소프트 코사인 측정법(Soft Cosine Measure, SCM)이 정규화된 임베딩를 사용할 경우 워드 무버스 디스턴스(Word Mover’s Distance, WMD)보다 정확도와 속도 면에서 뛰어나며, 평균 테스트 오차를 39% 감소시키고 10,000배 이상 빠른 추론 속도를 기록함으로써 자원 제약이 있는 시스템에 구현 가능한 가능성을 입증한다.

ABSTRACT

Since the seminal work of Mikolov et al., word embeddings have become the preferred word representations for many natural language processing tasks. Document similarity measures extracted from word embeddings, such as the soft cosine measure (SCM) and the Word Mover's Distance (WMD), were reported to achieve state-of-the-art performance on semantic text similarity and text classification. Despite the strong performance of the WMD on text classification and semantic text similarity, its super-cubic average time complexity is impractical. The SCM has quadratic worst-case time complexity, but its performance on text classification has never been compared with the WMD. Recently, two word embedding regularization techniques were shown to reduce storage and memory costs, and to improve training speed, document processing speed, and task performance on word analogy, word similarity, and semantic text similarity. However, the effect of these techniques on text classification has not yet been studied. In our work, we investigate the individual and joint effect of the two word embedding regularization techniques on the document processing speed and the task performance of the SCM and the WMD on text classification. For evaluation, we use the $k$NN classifier and six standard datasets: BBCSPORT, TWITTER, OHSUMED, REUTERS-21578, AMAZON, and 20NEWS. We show 39% average $k$NN test error reduction with regularized word embeddings compared to non-regularized word embeddings. We describe a practical procedure for deriving such regularized embeddings through Cholesky factorization. We also show that the SCM with regularized word embeddings significantly outperforms the WMD on text classification and is over 10,000 times faster.

연구 동기 및 목표

• 문서 수준 작업, 특히 텍스트 분류에서 단어 임베딩 정규화의 영향을 평가하기 위해.
• 정규화된 단어 임베딩를 사용할 때 소프트 코사인 측정법(Soft Cosine Measure, SCM)과 워드 무버스 디스턴스(Word Mover’s Distance, WMD)의 성능 및 효율성을 비교하기 위해.
• 메모리 절감과 학습 속도 향상에 기여하는 정규화 기법이 분류 정확도 향상에도 기여하는지 조사하기 위해.
• 코レス키 분해와 직교화를 활용해 정규화된 단어 임베딩를 유도하는 실용적인 방법을 수립하기 위해.
• WMD를 정규화된 임베딩에 적용된 SCM으로 대체함으로써 모바일 및 임베디드 시스템에 적합한 고성능·고효율 텍스트 분류를 가능하게 하기 위해.

제안 방법

• 코レス키 분해를 사용해 단어 임베딩에 직교화를 적용함으로써 중복을 줄이고 유사도 행렬의 희소성 향상.
• 양자화를 통해 임베딩 차원을 축소하고 메모리 사용량을 줄이며, 동시에 의미적 충실도 유지.
• 정규화된 유사도 행렬을 수정하여 관련 없는 단어 간 유사도를 부정적으로 유도함으로써 SCM에 정규화를 통합.
• 그리드 서치를 통해 6개의 벤치마크 데이터셋에서 SCM의 하이퍼파라미터(예: $C$, $o$, $t$, $k$, IDF, 대칭성, 도메인)를 최적화.
• 정규화된 및 비정규화된 임베딩를 사용해 SCM과 WMD를 통합한 $k$-근접 이웃($k$-nearest neighbors, k-NN) 분류기 구현을 통해 문서 분류 수행.
• 코レス키 분해를 통해 사전 학습된 단어 벡터에서 직교화된 임베딩를 유도함으로써 수학적 일관성과 계산 효율성 확보.

실험 결과

연구 질문

• RQ1 단어 수준 작업을 초월해 단어 임베딩 정규화가 텍스트 분류 성능 향상에 기여하는가?
• RQ2 정규화된 임베딩를 사용할 경우 소프트 코사인 측정법(Soft Cosine Measure, SCM)의 성능이 텍스트 분류 작업에서 워드 무버스 디스턴스(Word Mover’s Distance, WMD)보다 어떻게 뛰어나게 되는가?
• RQ3 직교화와 양자화가 문서 처리 속도와 분류 정확도에 어떤 영향을 미치는가?
• RQ4 정규화된 임베딩를 통해 SCM이 속도와 정확도 면에서 WMD의 실용적 대안이 될 수 있는가?
• RQ5 다양한 텍스트 분류 데이터셋에서 정규화된 임베딩를 사용할 경우 SCM 성능을 최대화하는 최적의 하이퍼파라미터 설정은 무엇인가?

주요 결과

• 정규화된 단어 임베딩를 사용한 소프트 코사인 측정법(Soft Cosine Measure, SCM)은 비정규화된 임베딩 대비 $k$-NN 테스트 오차 평균 39% 감소를 기록했다.
• 정규화된 임베딩를 사용한 SCM은 bbcsport, twitter, ohsumed, reuters-21578, amazon, 20news를 포함한 6개의 모든 벤치마크 데이터셋에서 WMD를 뛰어넘는 성능을 보였다.
• 정규화된 임베딩를 사용한 SCM은 WMD보다 10,000배 이상 빠른 속도를 기록했으며, 20news 데이터셋에서는 시간 복잡도 감소로 인해 13,685배의 속도 향상을 기록했다.
• 양자화된 임베딩는 관련 없는 단어 간 코사인 유사도의 양성 편향을 줄여 문서 간 분리도를 향상시키고 $k$-NN 테스트 오차를 감소시켰다.
• 직교화로 인해 SCM의 최악의 시간 복잡도는 이차에서 선형으로 감소했지만, 희소 행렬 연산으로 인해 조밀한 SCM 대비 2.73배의 지연이 발생했다.
• 직교화된 임베딩를 사용한 SCM의 최적 하이퍼파라미터 설정은 대부분의 데이터셋에서 $C=100$, $o=4$, $t=-1$, $k=1$이며, IDF 및 대칭성 설정이 성능에 결정적인 영향을 미친다.