[논문 리뷰] Analysis of Morphology in Topic Modeling.

Chandler May, Ryan Cotterell외 1명|arXiv (Cornell University)|2016. 08. 13.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 문체가 풍부한 언어에서 형태소 변형을 줄임으로써 주제 모델의 해석 가능성에 어떻게 기여하는지 조사한다. 형태소가 풍부한 언어의 위키백과 기사에 대한 단어 침입 평가를 통해, 추상화된 주제 모델(LDA)에서 형태소 정규화가 주제 표현의 품질을 크게 향상시켜 더 일관되고 의미 있는 상위 단어 목록을 만들어 냄을 입증한다.

ABSTRACT

Topic models make strong assumptions about their data. In particular, different words are implicitly assumed to have different meanings: topic models are often used as human-interpretable dimensionality reductions and a proliferation of words with identical meanings would undermine the utility of the top-$m$ word list representation of a topic. Though a number of authors have added preprocessing steps such as lemmatization to better accommodate these assumptions, the effects of such data massaging have not been publicly studied. We make first steps toward elucidating the role of morphology in topic modeling by testing the effect of lemmatization on the interpretability of a latent Dirichlet allocation (LDA) model. Using a word intrusion evaluation, we quantitatively demonstrate that lemmatization provides a significant benefit to the interpretability of a model learned on Wikipedia articles in a morphologically rich language.

연구 동기 및 목표

• 형태소 변형이 잠재 딜리클란 분포(LDA) 모델의 주제 모델 해석 가능성에 어떻게 영향을 미치는지 조사하기 위해.
• 형태소 정규화를 통해 어형 정규화를 통해 동의어를 줄임으로써 주제 표현의 품질 향상 여부를 평가하기 위해.
• 정량적 평가 방법을 사용하여 사전 처리 단계에서 형태소 정규화가 주제 모델의 해석 가능성에 미치는 영향을 경험적으로 평가하기 위해.
• 형태소 정규화가 주제의 상위 단어 목록의 일관성과 인간이 이해할 수 있는 정도를 향상시키는지에 대한 증거를 제공하기 위해.

제안 방법

• 형태소가 풍부한 언어의 위키백과 기사에 형태소 정규화를 적용하여 변형된 어형을 기본 어형으로 줄인다.
• 원본 텍스트와 형태소 정규화된 텍스트 양쪽에 대해 잠재 딜리클란 분포(LDA) 모델을 훈련시어 주제 표현을 비교한다.
• 단어 침입 평가를 통해 해석 가능성 수준을 측정하며, 인간 평가자가 주제의 상위 단어 목록에서 목표 단어를 얼마나 잘 식별하는지 평가한다.
• 원본 텍스트와 형태소 정규화된 텍스트에서의 모델 성능을 비교하며, 침입 탐지 정확도가 높을수록 더 높은 해석 가능성임을 의미한다.
• 유의미한 개선 여부를 판단하기 위해 통계 분석을 수행한다.

실험 결과

연구 질문

• RQ1 형태소가 풍부한 언어에서 형태소 정규화는 주제 모델의 해석 가능성에 향상시키는가?
• RQ2 형태소 변형은 LDA 주제의 상위 단어 목록의 일관성에 어떻게 영향을 미치는가?
• RQ3 형태소 정규화는 단어 침입 작업을 통해 측정된 주제 표현의 품질을 어느 정도 향상시키는가?
• RQ4 위키백과 텍스트에 형태소 정규화를 적용했을 때 해석 가능성 향상은 통계적으로 유의미한가?

주요 결과

• 형태소가 풍부한 언어의 위키백과 기사에서 형태소 정규화는 LDA 모델의 해석 가능성에 유의미하게 향상시킨다.
• 단어 침입 평가 결과, 형태소 정규화된 텍스트에서 목표 단어의 탐지 정확도가 높아져 주제의 일관성이 향상됨을 시사한다.
• 형태소 정규화로 인한 해석 가능성 향상은 정량적으로 측정 가능하며 통계적으로 유의미하다.
• 결과는 형태소 정규화가 인간이 이해할 수 있는 차원 축소 도구로서 주제 모델의 유용성을 높인다는 것을 시사한다.