[논문 리뷰] An alternative text representation to TF-IDF and Bag-of-Words

Zhixiang Xu, Xu외 3명|arXiv (Cornell University)|2013. 01. 28.

Topic Modeling참고 문헌 25인용 수 23

한 줄 요약

이 논문은 밀도 높은 용어 코hort(dCoT)를 제안하며, 이는 무 supervision 방식으로 희박한 Bag-of-Words(sBoW) 표현을 랜덤 단어 제거와 닫힌 형식의 국소화를 통해 빈도가 높은 단어를 희귀한 단어로부터 재구성함으로써 밀도 높은 벡터로 변환한다. dCoT는 특히 저자료 환경에서 문서 분류 정확도를 크게 향상시키며, LDA 및 LSI보다 최대 1,000배 빠르며, Reuters 및 Dmoz 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In text mining, information retrieval, and machine learning, text documents are commonly represented through variants of sparse Bag of Words (sBoW) vectors (e.g. TF-IDF). Although simple and intuitive, sBoW style representations suffer from their inherent over-sparsity and fail to capture word-level synonymy and polysemy. Especially when labeled data is limited (e.g. in document classification), or the text documents are short (e.g. emails or abstracts), many features are rarely observed within the training corpus. This leads to overfitting and reduced generalization accuracy. In this paper we propose Dense Cohort of Terms (dCoT), an unsupervised algorithm to learn improved sBoW document features. dCoT explicitly models absent words by removing and reconstructing random sub-sets of words in the unlabeled corpus. With this approach, dCoT learns to reconstruct frequent words from co-occurring infrequent words and maps the high dimensional sparse sBoW vectors into a low-dimensional dense representation. We show that the feature removal can be marginalized out and that the reconstruction can be solved for in closed-form. We demonstrate empirically, on several benchmark datasets, that dCoT features significantly improve the classification accuracy across several document classification tasks.

연구 동기 및 목표

• 기존 sBoW 및 TF-IDF 표현의 과도한 희박성으로 인해 저자료 또는 단문 텍스트 환경에서 일반화가 어려운 문제를 해결하기 위해.
• 희귀어와 빈도어 간의 공시현상 관계를 모델링하여 어휘 수준의 동의어성과 다의어성을 포착하기 위해.
• 라벨이 없는 데이터가 필요 없이 후행 분류 작업을 향상시키는 효율적인 무 supervision 특징 학습 방법을 개발하기 위해.
• 주제와 같은 고차원 의미적 구조를 발견하기 위해 변환 과정을 반복적으로 적용할 수 있도록 하기 위해.
• 기존 방법들인 LDA 및 LSI와 비교해 훨씬 짧은 학습 시간으로 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• dCoT는 문서에서 단어의 부분 집합을 확률 p로 무작위로 제거하여 노이즈를 시뮬레이션함으로써 레이블이 없는 텍스트에서 학습한다.
• 모델은 모든 가능한 제거 패턴에 대한 국소화를 통해 유도된 닫힌 형식의 해를 사용하여 남아 있는 희귀어들로부터 원래의 빈도어를 재구성하도록 학습한다.
• 이 변환은 다중 레이어에 걸쳐 반복적으로 적용되어 어휘 간 및 주제 간 고차원 상관관계를 포착한다.
• 결과로 얻어진 특징 매핑은 원래 sBoW 벡터의 선형 변환으로, 반복 최적화 없이 닫힌 형식으로 효율적으로 계산된다.
• 모델이 공시되는 희귀어들로부터 누락된 빈도어를 추론하도록 강제함으로써 암묵적으로 의미 관계를 학습한다.
• 최종 표현은 SVM과 같은 분류기에서 사용하기에 적합한 저차원 밀도 높은 벡터이다.

실험 결과

연구 질문

• RQ1 희귀어로부터 빈도어를 재구성하는 방식으로 무 supervision 방법이 sBoW 표현을 향상시킬 수 있는가?
• RQ2 재구성 과정을 반복적으로 적용하면 의미 표현이 향상되고 고차원 주제를 포착할 수 있는가?
• RQ3 특히 저라벨 데이터 설정에서 dCoT는 TF-IDF, LSI, LDA보다 분류 정확도에서 얼마나 뛰어나게 성능을 내는가?
• RQ4 LDA 및 LSI와 같은 기존 접근 방식보다 훨씬 빠른 속도로 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 실제로 dCoT의 최적의 노이즈 수준과 레이어 수는 무엇인가?

주요 결과

• dCoT는 Reuters 및 Dmoz 벤치마크 데이터셋에서 TF-IDF, LSI, LDA를 모두 능가하며, 특히 저라벨 데이터 설정에서 두각을 나타낸다.
• Reuters 데이터셋에서 dCoT는 모든 테스트 구성에서 가장 높은 분류 정확도를 기록했으며, LDA의 3시간 대비 3분의 학습 시간을 기록했다.
• LDA 및 LSI보다 최대 1,000배 빠른 속도 향상을 보이며, 특징 학습 시간을 수시간에서 수분으로 단축시켰다.
• dCoT의 반복적 적용(l > 1 레이어)은 성능 향상을 이끌어내었으며, 깊이 있는 표현이 고차원 의미 상관관계를 포착함을 확인했다.
• 놀랍게도 높은 노이즈 수준(1 - p)이 가장 좋은 성능을 내어, 강력한 손상이 의미적 관계의 미세한 학습을 향상시킬 수 있음을 시사한다.
• dCoT의 닫힌 형식 해법 덕분에 추론 시간이 밀리초 수준, 학습 시간이 초 단위로 매우 짧아져 실생활 응용에 실용적이다.