[논문 리뷰] Learning Topic Models - Going beyond SVD

Sanjeev Arora, Rong Ge외 1명|arXiv (Cornell University)|2012. 04. 09.

Topic Modeling참고 문헌 21인용 수 58

한 줄 요약

이 논문은 단일 주제 문서(하나의 문서당 하나의 주제)가 필요하거나 주제 벡터의 스트레칭(스팬)만 복원하는 SVD의 한계를 극복하기 위해 고유한 행렬 분해(NMF)를 사용한 다항식 시간 알고리즘을 제안한다. 주요 기여는 분리성 가정 하에 증명 가능하게 올바른 알고리즘을 제공하며, CTM 및 PAM과 같은 상관 주제 모델로 일반화된다는 점이다.

ABSTRACT

Topic Modeling is an approach used for automatic comprehension and classification of data in a variety of settings, and perhaps the canonical application is in uncovering thematic structure in a corpus of documents. A number of foundational works both in machine learning and in theory have suggested a probabilistic model for documents, whereby documents arise as a convex combination of (i.e. distribution on) a small number of topic vectors, each topic vector being a distribution on words (i.e. a vector of word-frequencies). Similar models have since been used in a variety of application areas; the Latent Dirichlet Allocation or LDA model of Blei et al. is especially popular. Theoretical studies of topic modeling focus on learning the model's parameters assuming the data is actually generated from it. Existing approaches for the most part rely on Singular Value Decomposition(SVD), and consequently have one of two limitations: these works need to either assume that each document contains only one topic, or else can only recover the span of the topic vectors instead of the topic vectors themselves. This paper formally justifies Nonnegative Matrix Factorization(NMF) as a main tool in this context, which is an analog of SVD where all vectors are nonnegative. Using this tool we give the first polynomial-time algorithm for learning topic models without the above two limitations. The algorithm uses a fairly mild assumption about the underlying topic matrix called separability, which is usually found to hold in real-life data. A compelling feature of our algorithm is that it generalizes to models that incorporate topic-topic correlations, such as the Correlated Topic Model and the Pachinko Allocation Model. We hope that this paper will motivate further theoretical results that use NMF as a replacement for SVD - just as NMF has come to replace SVD in many applications.

연구 동기 및 목표

• 주제 모델링에서 SVD 기반 방법의 한계를 해결하기 위해, 순수 문서(하나의 문서당 하나의 주제)가 필요하거나 주제 벡터의 스트레칭(스팬)만 복원하는 문제를 해결한다.
• 진짜 주제 벡터를 복원하는, 증명 가능하고 다항식 시간 내에 수행 가능한 주제 모델 학습 알고리즘을 개발한다.
• 단어-주제 행렬과 문서-주제 행렬의 비음성 조건을 활용하여, NMF가 주제 모델링에서 SVD보다 우월한 대안임을 정당화한다.
• 주제-주제 상관관계를 포함하는 더 복잡한 모델, 예를 들어 상관 주제 모델(CTM)과 패칭코 할당 모델(PAM)을 다룰 수 있도록 알고리즘을 일반화한다.
• 심지어 분리성 가정 하에서도 최대우도추정(MLE)이 NP-난해함을 입증하여, 효율적인 근사 알고리즘의 필요성을 강조한다.

제안 방법

• 문서-단어 행렬을 비음성 요소들로 분해하기 위해 비음성 행렬 분해(NMF)를 사용하여 주제 벡터와 문서-주제 분포를 표현한다.
• 각 주제가 적어도 하나의 고유한 단어(앵커 단어)를 가진다는 분리성 가정을 활용하여, 주제 벡터의 효율적이고 증명 가능한 복원을 가능하게 한다.
• 앵커 단어를 식별하고 이를 사용해 반복적으로 주제 벡터를 복원하는 탐욕 알고리즘을 적용하여 다항식 시간 내 수렴을 보장한다.
• 문서-주제 분포에 대한 구조적 사전 정보를 다룰 수 있도록 NMF 기반 복원 프레임워크를 주제 상관관계를 고려한 모델로 확장한다.
• 약한 가정 하에 알고리즘이 진짜 주제 행렬과 문서-주제 파라미터를 복원함을 증명하며, 오차 범위는 표본 수와 노이즈 수준에 따라 달라진다.
• 최소 이분할 문제에서의 감소를 통해 주제 모델의 MLE가 분리성 조건 하에서도 여전히 NP-난해함을 증명하여 이론적 난이도 경계를 설정한다.

실험 결과

연구 질문

• RQ1 순수 문서가 필요하거나 주제의 스트레칭만 복원되는 조건 없이, 주제 모델을 다항식 시간 내에 학습할 수 있는가?
• RQ2 실제 가정 조건 하에서 NMF가 SVD 대비 실현 가능하고 증명 가능한 주제 모델링 대안인가?
• RQ3 각 주제가 적어도 하나의 고유한 단어(앵커 단어)를 가진다는 분리성 가정이 주제 벡터의 효율적이고 정확한 복원을 가능하게 하는가?
• RQ4 제안된 NMF 기반 알고리즘이 CTM 및 PAM와 같은 더 복잡한 주제 모델, 즉 주제-주제 상관관계를 포함하는 모델로 확장 가능한가?
• RQ5 주제 행렬이 분리 가능할 경우에도 주제 모델의 최대우도추정(MLE)은 여전히 NP-난해한가?

주요 결과

• 제안된 NMF 기반 알고리즘은 분리성 가정 하에 다항식 시간 내에 실행되며, SVD 기반 방법이 주제의 스트레칭만 복원하는 것과 달리 진짜 주제 벡터를 복원한다.
• 알고리즘은 CTM 및 PAM와 같은 상관 주제 모델로 일반화되어 더 현실적인 모델링 환경에서 효율적인 학습을 가능하게 한다.
• 논문은 심지어 분리성 가정 하에서도 최대우도추정(MLE)이 NP-난해함을 최소 이분할 문제에서의 감소를 통해 증명한다.
• MLE 문제의 목적 함수는 최소 이분할에 대응하는 표준 해에 의해 최대화되며, 최적 해와 비최적 해 사이의 갭은 최소 log 2 이상이다.
• 어느 정도의 비표준 해(예: 비균일한 주제 가중치)가 발생할 경우 목적 함수 값이著しく 감소함을 보여 이론적으로 수렴이 정확한 해로 이루어짐을 입증한다.
• 이론적 분석을 통해 알고리즘의 성능이 표본 노이즈 하에서도 안정적임을 확인하였으며, 오차 범위는 농도 불등식과 오목 함수에 대한 테일러 전개를 통해 유도되었다.