[논문 리뷰] LTSG: Latent Topical Skip-Gram for Mutually Learning Topic Model and Vector Representations

Jarvan Law, Hankz Hankui Zhuo외 2명|arXiv (Cornell University)|2017. 02. 23.

Topic Modeling참고 문헌 20인용 수 12

한 줄 요약

LTSG는 다의어 단어를 위한 전역 주제 표현을 도입하여 주제 모델과 단어 임베딩 간의 상호 개선을 가능하게 하는 공동 학습 프레임워크를 제안한다. 이는 EM 방식의 반복 최적화를 통해 이루어지며, 주제 일관성과 자연어 처리 작업에서 최신 기법들을 능가한다. 주제 일관성 점수는 -92.23을 기록하여 LDA의 -108.72보다 뛰어나다.

ABSTRACT

Topic models have been widely used in discovering latent topics which are shared across documents in text mining. Vector representations, word embeddings and topic embeddings, map words and topics into a low-dimensional and dense real-value vector space, which have obtained high performance in NLP tasks. However, most of the existing models assume the result trained by one of them are perfect correct and used as prior knowledge for improving the other model. Some other models use the information trained from external large corpus to help improving smaller corpus. In this paper, we aim to build such an algorithm framework that makes topic models and vector representations mutually improve each other within the same corpus. An EM-style algorithm framework is employed to iteratively optimize both topic model and vector representations. Experimental results show that our model outperforms state-of-art methods on various NLP tasks.

연구 동기 및 목표

• 기존 모델이 고정된 사전 학습된 주제 모델이나 단어 임베딩를 사전 지식으로 사용하는 데서 비롯되는 한계를 해결한다.
• 다의어 단어로 인해 주제 모델과 단어 임베딩의 품질이 상호 악화되는 상호 의존성 문제를 극복한다.
• 외부 사전 지식 없이 주제 모델과 벡터 표현을 동시에 최적화하는 공동 학습 프레임워크를 개발한다.
• 주제 모델과 단어 임베딩 간의 이중적 강화를 통해 주제 일관성과 후행 NLP 성능을 향상시킨다.

제안 방법

• 각 다의어 단어 $w$에 대해 주제-단어 분포 $\bm{\varphi}$와 주제 임베딩 $\bm{t}$로부터 유도된 전역 주제 표현 $\bm{T}w$를 도입한다.
• 스킵그램 모델을 확장하여 단어 $w$와 그 전역 주제 $\bm{T}w$가 주어졌을 때의 문맥 가능성도 최대화함으로써 문맥 인식 기반의 표현 학습을 가능하게 한다.
• 단어 임베딩 $\bm{v}_w$, 주제 임베딩 $\bm{t}_k$, 주제-단어 분포 $\bm{\varphi}$를 동시에 최적화하는 공동 목적 함수를 사용한다.
• 주제 할당 $\bm{z}$, 단어 임베딩, 주제 임베딩, $\bm{\varphi}$를 반복적으로 개선하기 위해 EM 방식의 알고리즘을 적용한다.
• 다의어 단어의 임베딩을 단어 임베딩와 주제 임베딩의 연결으로 특성화함으로써 다의미 표현을 가능하게 한다.
• 이 프레임워크를 주제 모델링과 단어 표현 학습에 모두 적용하여 반복 최적화를 통해 상호 개선을 이룬다.

실험 결과

연구 질문

• RQ1 사전 학습된 사전 지식 없이 주제 모델과 단어 임베딩를 공동 최적화하여 상호 성능 향상을 이룰 수 있는가?
• RQ2 다의어 단어에 전역 주제 표현 $\bm{T}w$를 통합함으로써 주제 일관성과 단어 표현 품질이 어떻게 향상되는가?
• RQ3 주제 모델과 벡터 표현 간의 상호 학습이 최신 기법 대비 후행 NLP 작업 성능에 얼마나 기여하는가?
• RQ4 공동 최적화 프레임워크가 다의어로 인한 악영향을 주제 모델링과 단어 임베딩 학습에서 줄이는 데 얼마나 효과적인가?

주요 결과

• LTSG는 20NewsGroup 데이터셋에서 주제 일관성 점수 -92.23을 기록하여 LDA의 -108.72보다 유의미하게 높게 나타내, 더 높은 품질의 일관성 있는 주제를 생성함을 시사한다.
• 정성적 분석 결과, LTSG는 LDA의 일반적인 특성(예: '좋은 품질') 대비 더 구체적이고 구체적인 주제를 생성한다. 예를 들어, 프린터 기술이나 메일 서버 설정에 초점을 맞춘다.
• 모델는 주제 모델이 단어 임베딩 향상에 기여할 수 있음을 입증하며, 후행 작업에서의 성능 향상으로 이를 확인할 수 있다. 이는 상호 학습 메커니즘의 타당성을 뒷받침한다.
• LTSG는 주제 추출과 텍스트 분류 작업 모두에서 최신 기법들을 능가하며, 공동 최적화의 효과성을 확인한다.
• 프레임워크는 전역 주제 $\bm{T}w$를 통해 주제별 표현을 학습함으로써 다의어 단어의 다중 의미를 성공적으로 포착한다.
• 반복적인 EM 방식 최적화가 단어 임베딩, 주제 임베딩, 주제-단어 분포를 상호 강화 방식으로 균형 있게 개선함을 입증한다.