[논문 리뷰] Language Modeling by Clustering with Word Embeddings for Text Readability Assessment

Miriam Cha, Youngjune Gwon외 1명|arXiv (Cornell University)|2017. 09. 05.

Text Readability and Simplification참고 문헌 15인용 수 3

한 줄 요약

이 논문은 단어 임베딩을 사용하여 텍스트 가독성 예측을 향상시키기 위해 군집 기반 언어 모델을 제안한다. 사전에 훈련된 fastText 단어 벡터에 K-means 군집을 적용하고 문서를 히스토그램 특징으로 표현함으로써, 공통 핵심 기준(corpus)에서 최신 기술(SOTA) 수준의 슼스피어 상관계수 0.83과 피어슨 상관계수 0.82를 달성하였다. 이는 얕은 특징이나 표준 임베딩을 사용한 이전 방법들을 능가하는 성능이다.

ABSTRACT

We present a clustering-based language model using word embeddings for text readability prediction. Presumably, an Euclidean semantic space hypothesis holds true for word embeddings whose training is done by observing word co-occurrences. We argue that clustering with word embeddings in the metric space should yield feature representations in a higher semantic space appropriate for text regression. Also, by representing features in terms of histograms, our approach can naturally address documents of varying lengths. An empirical evaluation using the Common Core Standards corpus reveals that the features formed on our clustering-based language model significantly improve the previously known results for the same corpus in readability prediction. We also evaluate the task of sentence matching based on semantic relatedness using the Wiki-SimpleWiki corpus and find that our features lead to superior matching performance.

연구 동기 및 목표

• 얕은 언어적 특징에 의존하는 대신 단어 임베딩의 의미적 특징을 활용하여 텍스트 가독성 평가를 향상시키기 위해.
• 의미 공간에서 단어 벡터를 군집화하면 텍스트 회귀 작업에 더 구분력 있는 특징을 제공하는지 조사하기 위해.
• 제안된 방법의 효과성을 가독성 예측 및 의미 유사도를 위한 문장 매칭 작업에서 평가하기 위해.
• 군집된 단어 임베딩에서 유도된 히스토그램 기반 표현이 길이가 변하는 문서를 자연스럽게 다룰 수 있는지 보여주기 위해.

제안 방법

• 공통 핵심 기준(corpus)에서 훈련된 fastText 단어 임베딩을 사용하여 단어를 고차원 의미 공간에 표현한다.
• 의미적으로 유사한 단어들을 군집으로 묶기 위해 단어 벡터에 K-means 군집을 적용하여 군집 기반 언어 모델을 구성한다.
• 문서 수준의 특징은 각 문서 내 군집 발생 빈도를 세어 히스토그램 표현으로 생성하며, 이는 길이가 다른 텍스트를 수용할 수 있다.
• 히스토그램 특징을 회귀 모델의 입력으로 사용하여 텍스트 가독성 수준을 예측한다.
• 문장 매칭을 위해 문장 내 단어 임베딩의 평균을 취해 문장 임베딩을 생성하고, 의미 유사도는 최근접 이웃 검색을 통해 평가한다.
• 두 가지 벤치마크에서 평가한다: 가독성 예측을 위한 공통 핵심 기준(corpus)과 의미 문장 매칭을 위한 Wiki-SimpleWiki 기준(corpus).

실험 결과

연구 질문

• RQ1 의미 공간에서 단어 임베딩을 군집화하면 전통적인 얕은 특징이나 원시 임베딩보다 텍스트 가독성 예측에 더 나은 특징을 제공할 수 있는가?
• RQ2 군집 빈도의 히스토그램 표현이 가독성 평가에서 길이가 변하는 문서에서 성능 향상에 기여하는가?
• RQ3 제안된 군집 기반 언어 모델이 다양한 어휘와 문법을 가진 문장 간의 의미 유사성을 효과적으로 포착할 수 있는가?
• RQ4 공통 핵심 기준(corpus)에서 제안된 방법의 성능이 최신 기술(SOTA) 방법들과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 공통 핵심 기준(corpus)에서 슼스피어 상관계수 0.83과 피어슨 상관계수 0.82를 달성하여 이전 최신 기술(SOTA) 결과를 초월하였다.
• fastText 단어 벡터에 K-means 군집을 적용한 결과, Brown 군집 및 기준 임베딩 모델보다 우수했으며, 특히 대상 기준(corpus)에서 미세조정된 단어 벡터를 사용했을 때 가장 높은 성능를 기록했다.
• 위키백과 문장과 그 SimpleWiki 대응문장이 의미 공간에서 4개 이내의 최근접 이웃에 포함될 확률이 95.9%에 달하여 의미 보존 능력이 뛰어나다는 것을 보여주었다.
• fastText 임베딩에 K-means 군집을 적용한 결과, bag-of-words, word2vec, doc2vec 기준 모델 대비 가독성 예측 성능이 크게 향상되었다.
• 히스토그램 기반 특징 표현은 길이가 다른 문서를 효과적으로 처리하여 다양한 길이의 텍스트에서 안정적인 성능을 보였다.