[논문 리뷰] A provable SVD-based algorithm for learning topics in dominant admixture corpus

Trapit Bansal, Chiranjib Bhattacharyya외 1명|arXiv (Cornell University)|2014. 10. 26.

Topic Modeling참고 문헌 15인용 수 36

한 줄 요약

이 논문은 주로 혼합된 토픽을 포함하는 코퍼스에서 주제 모델을 학습하기 위해 SVD 기반의 증명 가능 정확도를 가진 TSVD를 제안한다. 이는 주제별로 빈도가 높고, 한 주제에서 다른 주제보다 엄격히 높은 빈도를 가지는 단어(포착어)를 도입함으로써 이루어진다. 포착어와 주로 혼합된 문서에 대한 현실적인 가정 하에, TSVD는 어휘 크기와 무관하게 유한한 $l_1$ 오차를 달성하며, 실제 및 반-합성 코퍼스에서 이전 최고 성능 알고리즘을 능가한다.

ABSTRACT

Topic models, such as Latent Dirichlet Allocation (LDA), posit that documents are drawn from admixtures of distributions over words, known as topics. The inference problem of recovering topics from admixtures, is NP-hard. Assuming separability, a strong assumption, [4] gave the first provable algorithm for inference. For LDA model, [6] gave a provable algorithm using tensor-methods. But [4,6] do not learn topic vectors with bounded $l_1$ error (a natural measure for probability vectors). Our aim is to develop a model which makes intuitive and empirically supported assumptions and to design an algorithm with natural, simple components such as SVD, which provably solves the inference problem for the model with bounded $l_1$ error. A topic in LDA and other models is essentially characterized by a group of co-occurring words. Motivated by this, we introduce topic specific Catchwords, group of words which occur with strictly greater frequency in a topic than any other topic individually and are required to have high frequency together rather than individually. A major contribution of the paper is to show that under this more realistic assumption, which is empirically verified on real corpora, a singular value decomposition (SVD) based algorithm with a crucial pre-processing step of thresholding, can provably recover the topics from a collection of documents drawn from Dominant admixtures. Dominant admixtures are convex combination of distributions in which one distribution has a significantly higher contribution than others. Apart from the simplicity of the algorithm, the sample complexity has near optimal dependence on $w_0$, the lowest probability that a topic is dominant, and is better than [4]. Empirical evidence shows that on several real world corpora, both Catchwords and Dominant admixture assumptions hold and the proposed algorithm substantially outperforms the state of the art [5].

연구 동기 및 목표

• 현실적인 가정 하에 주제 분포를 유한한 $l_1$ 오차로 증명 가능하게 복원할 수 있는 주제 추론 알고리즘을 개발하는 것.
• 다양한 주제가 존재하더라도 한 주제가 지배하는 실제 텍스트 코퍼스를 모델링하는 것.
• 강한 분리성 가정(앵커 단어)을 더 자연스럽고 경험적으로 지지되는 가정인 주제별 포착어로 대체하는 것.
• 임계값 처리 전처리 단계를 포함한 간단한 SVD 기반 알고리즘을 설계하여 증명 가능한 수렴성을 확보하는 것.
• 최소 지배 주제 가중치 $w_0$에 대해 거의 최적의 의존도를 가지는 표본 복잡도를 달성하는 것.

제안 방법

• 포착어 개념을 도입: 서로 자주 공현하고, 한 주제에서 다른 주제보다 개별적으로 더 높은 빈도를 가지는 단어 그룹.
• 각 문서가 한 주제의 가중치가 다른 주제보다 현저히 높은 주로 혼합된 코퍼스에서 생성된다고 가정.
• 문서-단어 공현 행렬에 임계값 처리 전처리 단계를 적용하여 고빈도의 주제별 단어 그룹을 분리.
• 전처리된 행렬에 대해 절삭 SVD를 적용하여 주제에 해당하는 저랭크 근사치를 추출.
• SVD 성분을 사용하여 어휘 크기 $d$와 무관하게 증명 가능한 $l_1$ 오차 한계를 가지는 주제 벡터를 복원.
• 포착어 및 주로 혼합된 문서 가정 하에, 알고리즘이 어휘 크기 $d$에 따라 증가하지 않는 오차로 주제 행렬을 복원함을 증명.

실험 결과

연구 질문

• RQ1 현실적인 가정 하에 단순한 SVD 기반 알고리즘이 주제 복원에 대해 증명 가능한 $l_1$ 오차 한계를 달성할 수 있는가?
• RQ2 한 주제에서 더 높은 빈도를 가지며 강한 공현 빈도를 보이는 주제별 포착어의 가정이 앵커 단어보다 더 나은 주제 복원을 가능하게 하는가?
• RQ3 각 문서에서 한 주제가 지배하는 주로 혼합된 가정이 증명 가능하고 정확한 주제 추론을 지원할 수 있는가?
• RQ4 제안된 알고리즘의 표본 복잡도는 최소 지배 주제 가중치 $w_0$에 대해 어떻게 변화하는가?
• RQ5 실제 및 반-합성 코퍼스에서 $l_1$ 복원 오차 측면에서 기존 최고 성능 알고리즘 [5]을 능가하는가?

주요 결과

• TSVD 알고리즘은 어휘 크기 $d$와 무관하게 유한한 $l_1$ 오차를 달성하며, 이는 이전 연구에서 오차가 $d$에 선형적으로 증가하는 것과 대비된다.
• 실제 데이터셋에서 생성된 반-합성 코퍼스에서, TSVD는 최고 성능 알고리즘 [5] 대비 90%의 주제에서 $l_1$ 복원 오차를 27% 감소시킨다.
• 실험적 검증을 통해 포착어 및 주로 혼합된 문서 가정이 실제 코퍼스에서 성립함을 확인하여 모델의 현실성에 기여한다.
• 알고리즘의 표본 복잡도는 $w_0$에 대해 거의 최적의 의존도를 가지며, 이는 [4]를 능가한다.
• 임계값 처리 전처리 단계는 필수적이다. 이는 주제별 단어 그룹을 분리하여 정확한 SVD 기반 주제 복원을 가능하게 한다.
• 앵커 단어 기반 접근법보다 더 약한 가정인 포착어를 사용함으로써, 모델은 더 현실적이고 경험적으로 타당성이 높아진다.