[논문 리뷰] Text Classification based on Word Subspace with Term-Frequency

Erica K. Shimomoto, Lincon S. Souza외 2명|arXiv (Cornell University)|2018. 06. 08.

Text and Document Classification Technologies인용 수 3

한 줄 요약

이 논문은 상호 부분공간 방법(MSM) 프레임워크 내에서 단어 부분공간과 어휘 빈도(TF) 가중 부분공간을 사용한 새로운 텍스트 분류 방법을 제안한다. 단어2vec 벡터를 저차원 부분공간으로 모델링하고, 가중치가 부여된 주성분 분석(PCA)을 통해 어휘 빈도를 통합함으로써, 레이터스-8 데이터셋에서 92.01%의 정확도를 달성하였으며, 이는 MNB 및 SVM과 같은 전통적 방법보다 유의미하게 높은 성능이다 (95% 유의수준).

ABSTRACT

Text classification has become indispensable due to the rapid increase of text in digital form. Over the past three decades, efforts have been made to approach this task using various learning algorithms and statistical models based on bag-of-words (BOW) features. Despite its simple implementation, BOW features lack semantic meaning representation. To solve this problem, neural networks started to be employed to learn word vectors, such as the word2vec. Word2vec embeds word semantic structure into vectors, where the angle between vectors indicates the meaningful similarity between words. To measure the similarity between texts, we propose the novel concept of word subspace, which can represent the intrinsic variability of features in a set of word vectors. Through this concept, it is possible to model text from word vectors while holding semantic information. To incorporate the word frequency directly in the subspace model, we further extend the word subspace to the term-frequency (TF) weighted word subspace. Based on these new concepts, text classification can be performed under the mutual subspace method (MSM) framework. The validity of our modeling is shown through experiments on the Reuters text database, comparing the results to various state-of-art algorithms.

연구 동기 및 목표

• 백오프워즈 모델의 한계를 해결하기 위해, 의미적 의미가 부족하고 고차원성과 희소성 문제를 겪는 문제를 해결한다.
• 텍스트를 단어2vec 벡터를 사용하여 표현하면서, 저차원 부분공간 표현을 통해 의미 관계를 유지한다.
• 어휘 빈도 정보를 부분공간 모델에 직접 통합하여 분류 정확도를 향상시킨다.
• MSM 프레임워크 내에서 단어 부분공간과 TF-가중 단어 부분공간의 효과를 평가한다.

제안 방법

• 고차원 단어 벡터 공간 내에서 저차원 선형 부분공간으로서의 단어 부분공간 개념을 도입하여, 텍스트 클래스 내 단어 벡터의 내재적 변동성을 표현한다.
• 데이터 중심화 없이 PCA를 적용하여 각 클래스의 단어 부분공간을 모델링함으로써, 클래스의 주요 의미적 구조를 유지한다.
• PCA 과정에 어휘 빈도를 가중치로 통합하여 단어 부분공간을 TF-가중 단어 부분공간으로 확장함으로써 빈도 인식 부분공간 모델링을 가능하게 한다.
• 상호 부분공간 방법(MSM)을 사용하여 텍스트 분류를 수행하며, 쿼리 문서의 부분공간을 학습된 클래스 부분공간과 캐논ical 각도를 통해 비교한다.
• 단어2vec을 사용하여 의미 유사성을 벡터 기하학을 통해 표현하는 분산 벡터 표현을 생성한다.
• 어휘 빈도가 부분공간 학습 중 개별 샘플의 가중치로 사용되는 가중치가 부여된 PCA의 변종을 활용하여 표현의 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단어2vec 벡터의 저차원 부분공간 표현이 텍스트 분류에서 텍스트 클래스의 의미적 내용을 효과적으로 모델링할 수 있는가?
• RQ2 부분공간 모델링 과정에 어휘 빈도를 통합할 경우, 기존의 표준 단어 부분공간 대비 분류 성능에 어떤 영향을 미치는가?
• RQ3 제안된 TF-가중 단어 부분공간 방법이 MNB, SVM, LSA와 같은 전통적 텍스트 분류 기준보다 기준 데이터셋에서 더 우수한 성능을 보일 수 있는가?
• RQ4 부분공간 기반 방법은 차원 감소와 계산 비용 절감을 동시에 달성하면서 의미적 변동성을 어느 정도 유지할 수 있는가?
• RQ5 빈도 무관 방법에 비해 TF-가중 부분공간의 성능 향상은 통계적으로 유의미한가?

주요 결과

• TF-가중 단어 부분공간 방법(TF-MSM)은 Reuters-8 데이터셋에서 92.01%의 정확도를 달성하였으며, 이는 다항부르트 베이즈(MNB)보다 유의미하게 높은 성능을 보였다.
• t-검정을 통해 TF-MSM의 성능가 MNB보다 95% 유의수준에서 통계적으로 유의미하게 뛰어났으며, p-값은 0.031이었다.
• 단어 부분공간 표현은 원래 단어 벡터 공간의 반만 차원을 사용하여도 대부분의 클래스 변동성을 유지하였으며, 이는 높은 압축성과 효율성을 나타낸다.
• LSA와 SVM은 TF-IDF 가중 백오프워즈 특징에서 성능이 열악하였으며, 이는 정지어가 제거되고 희귀어가 부족할 경우 TF-IDF가 덜 효과적임을 시사한다.
• 벡터 간의 각도와 부분공간 기하학을 통해 의미적 유사성을 효과적으로 모델링하였으며, 이는 문맥 기반으로 그룹화된 단어2vec 벡터가 일관된 부분공간을 형성함을 보여준다.
• 결과적으로 MSM 기반의 단어 부분공간 모델링은 분산 단어 표현에 적용되었을 때 기존 방법보다 더 효과적임을 보였다.