[논문 리뷰] An Analysis of Lemmatization on Topic Models of Morphologically Rich Language

Chandler May, Ryan Cotterell외 1명|arXiv (Cornell University)|2016. 08. 13.

Topic Modeling인용 수 9

한 줄 요약

이 연구는 러시아어 위키백과 데이터를 사용하여 형태소가 풍부한 언어에서 추론형 표준화(lemmatization)가 주제 모델의 해석 가능성에 미치는 영향을 평가한다. 어휘 필터링을 함께 적용한 추론형 표준화가 단어 침입 작업을 통해 측정된 해석 가능성에서 뚜렷한 향상을 보이며, 이는 러시아어에서 추론형 표준화가 주제의 일관성을 향상시킨다는 것을 보여주며, 영어에서의 이전 결과와는 다름을 입증한다.

ABSTRACT

Topic models are typically represented by top-$m$ word lists for human interpretation. The corpus is often pre-processed with lemmatization (or stemming) so that those representations are not undermined by a proliferation of words with similar meanings, but there is little public work on the effects of that pre-processing. Recent work studied the effect of stemming on topic models of English texts and found no supporting evidence for the practice. We study the effect of lemmatization on topic models of Russian Wikipedia articles, finding in one configuration that it significantly improves interpretability according to a word intrusion metric. We conclude that lemmatization may benefit topic models on morphologically rich languages, but that further investigation is needed.

연구 동기 및 목표

• 형태소가 풍부한 언어인 러시아어에서 추론형 표준화가 주제 모델의 해석 가능성에 미치는 영향을 경험적으로 평가하는 것.
• 문서 요약과 어휘 필터링이 주제 모델 성능에 미치는 영향을 조사하는 것.
• 대칭적 및 비대칭적 사전확률, 추론형 표준화 및 비추론형 표준화된 코퍼스 간의 주제 모델링을 비교하는 것.
• 추론형 표준화가 일반적으로 주제 모델에 해로운 영향을 미친다는 가정을 도전하는 것—특히 형태소가 복잡한 언어에서의 경우.
• 변형 처리 단계에 대한 데이터 기반 권장 사항을 제공하여 변화형 언어의 주제 모델링 파이프라인에 활용하는 것.

제안 방법

• 트리태거( TreeTagger ) 추론형 표준화 도구를 사용하여 러시아어 위키백과 기사에 추론형 표준화를 적용하여 변형된 형태의 단어를 기본 어간으로 매핑하였다.
• 네 가지 실험 설정을 평가: 어휘 필터링/대칭 사전확률 대비 비어 있는/비대칭 사전확률, 그리고 전체 길이 대비 50단어로 자른 문서.
• K=100개의 주제를 가진 잠재 디리클레 분포(Latent Dirichlet Allocation, LDA)를 확률적 변분 추론과 고정된 초모수를 사용하여 학습하였다.
• 해석 가능성은 단어 침입 평가를 통해 측정되었으며, 높은 탐지 비율은 더 일관되고 인간이 이해하기 쉬운 주제를 의미한다.
• 정확한 비교를 위해 추론형 표준화 및 비추론형 표준화된 코퍼스에서 상위 100개의 빈도 높은 단어(정지어 포함)를 어휘 필터링으로 제거하였다.
• 일측 검정의 p-값을 사용하여 추론형 표준화 모델과 비추론형 표준화 모델 간 성능 차이의 통계적 유의성을 평가하였다.

실험 결과

연구 질문

• RQ1 형태소가 풍부한 언어인 러시아어에서 추론형 표준화가 주제 모델의 해석 가능성에 향상시키는가?
• RQ2 문서 요약은 추론형 표준화 유무에 따라 주제 모델 성능에 어떤 영향을 미치는가?
• RQ3 어휘 필터링이 추론형 표준화 모델에서 정보성 사전확률보다 더 나은 주제 일관성을 제공하는가?
• RQ4 추론형 표준화가 적용된 경우 대칭적 사전확률과 비대칭 사전확률 간 성능 비교는 어떻게 되는가?
• RQ5 러시아어에서 추론형 표준화의 이점은 영어에서의 결과와 유사한가? 특히 스테밍이 유의미한 이점을 제공하지 못한 영어 연구 결과와 비교하여.

주요 결과

• 어휘 필터링과 대칭 사전확률을 적용한 추론형 표준화가 가장 높은 단어 침입 탐지 비율 0.61을 기록하였으며, 비추론형 표준화 모델(0.52, p=0.02)보다 유의미하게 높았다.
• 요약된 문서에서는 전체적으로 해석 가능성 수준이 낮았고(탐지 비율 약 0.37–0.47), 이 경우 추론형 표준화의 효과도 상대적으로 낮았다.
• 비어 있는 비대칭 모델은 'и', 'в', 'при', 'с', 'у'와 같은 정지어로 주제가 지배되어 주제의 일관성이 떨어지는 것으로 나타났다.
• 전체 길이 문서에서 어휘 필터링과 대칭 사전확률을 적용한 모델가 가장 해석 가능한 주제를 생성하였으며, 상위 단어의 중복 감소와 더 높은 어휘 다양성이 관찰되었다.
• 추론형 표준화가 어휘 필터링 없이선 해석 가능성 향상에 기여하지 않으며, 이는 추론형 표준화만으로는 노이즈 감소 없이선 충분하지 않음을 시사한다.
• 이 연구는 이전 영어 연구 결과와는 반대로 형태소가 풍부한 언어에서 추론형 표준화의 실증적 근거를 확보하였으며, 사전처리의 효과가 언어에 따라 다름을 강조한다.