[논문 리뷰] Beyond LDA: A Unified Framework for Learning Latent Normalized Infinitely Divisible Topic Models through Spectral Methods.

Forough Arabshahi, Animashree Anandkumar|arXiv (Cornell University)|2016. 05. 30.

Topic Modeling참고 문헌 12인용 수 4

한 줄 요약

이 논문은 주제 비율을 정규화된 무한가소적(NID) 분포로 모델링함으로써 LDA를 초월하는 주제 모델 학습을 위한 통합 스펙트럼 프레임워크를 제안한다. 이는 임의의 주제 상관관계를 허용한다. 이는 제3차 모멘트가 충분함을 증명하며, 단변수 적분에만 의존하는 효율적인 대각화 절차를 통해 보장된 학습이 가능함을 보여주며, 다항수준의 표본 및 계산 복잡도를 달성한다.

ABSTRACT

In this paper we propose guaranteed spectral methods for learning a broad range of topic models, which generalize the popular Latent Dirichlet Allocation (LDA). We overcome the limitation of LDA to incorporate arbitrary topic correlations, by assuming that the hidden topic proportions are drawn from a flexible class of Normalized Infinitely Divisible (NID) distributions. NID distributions are generated through the process of normalizing a family of independent Infinitely Divisible (ID) random variables. The Dirichlet distribution is a special case obtained by normalizing a set of Gamma random variables. We prove that this flexible topic model class can be learnt via spectral methods using only moments up to the third order, with (low order) polynomial sample and computational complexity. The proof is based on a key new technique derived here that allows us to diagonalize the moments of the NID distribution through an efficient procedure that requires evaluating only univariate integrals, despite the fact that we are handling high dimensional multivariate moments.

연구 동기 및 목표

• 디리클리 전제를 초월하는 주제 비율 분포의 일반화를 통해 LDA가 임의의 주제 상관관계를 모델링하는 데 한계를 극복하기 위해.
• 스펙트럼 방법을 사용하여 광범위한 주제 모델 클래스에 대한 통합 학습 프레임워크를 개발하기 위해.
• 3차 이하의 저순위 모멘트(최대 제3차)만을 사용하여 이러한 모델의 보장된 학습을 확보하기 위해.
• 모델 매개변수 학습 시 다항수준의 표본 및 계산 복잡도를 달성하기 위해.
• 다변수 고차원 모멘트를 단변수 적분을 통해 효율적으로 대각화하는 기법을 설계하기 위해.

제안 방법

• 유연한 클래스인 정규화된 무한가소적(NID) 분포를 사용하여 주제 비율을 모델링하며, 이는 디리클리 분포를 일반화한다.
• 단어 동시 발생 통계의 제3차 모멘트를 활용하여 데이터 내 고차원 의존성을 포착한다.
• 고차원 다변수 모멘트를 스펙트럼 분해에 적합한 형태로 변환하는 새로운 대각화 절차를 개발한다.
• 핵심 분석 기법을 통해 다변수 모멘트의 계산을 단변수 적분 평가로 줄인다.
• 제3차 모멘트 텐서의 스펙트럼 분해를 사용하여 모델 매개변수를 일관적으로 추정한다.
• 저순위 모멘트 추정 및 효율적 적분 평가에 기반하여 다항수준의 표본 및 계산 복잡도를 확보한다.

실험 결과

연구 질문

• RQ1 임의의 주제 상관관계를 허용하는 LDA를 초월하는 주제 모델을 학습하기 위한 통합 스펙트럼 프레임워크를 개발할 수 있는가?
• RQ2 보장된 수렴을 보장하면서 제3차 모멘트만을 사용하여 NID 기반 주제 모델을 학습할 수 있는가?
• RQ3 고차원 적분이 필요 없이 고차원 다변수 모멘트를 효율적으로 대각화할 수 있는가?
• RQ4 스펙트럼 방법을 사용할 경우 이러한 모델의 계산 및 표본 복잡도는 어떻게 되는가?
• RQ5 제안된 방법은 통계적 일관성을 유지하면서 다항수준의 복잡도를 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 NID 분포를 통해 LDA를 일반화함으로써 임의의 주제 상관관계를 가진 주제 모델의 학습을 가능하게 한다.
• 모델은 제3차 모멘트만을 사용하여 학습되며, 이는 낮은 계산 및 표본 복잡도를 보장한다.
• 새로운 대각화 기법을 통해 다변수 고차원 모멘트를 단변수 적분으로 줄여 효율적으로 처리할 수 있다.
• 이 방법은 다항수준의 표본 및 계산 복잡도를 달성하여 확장성과 실용성을 확보한다.
• 이론적 프레임워크는 스펙트럼 학습 철학에 기반해 일관된 매개변수 추정을 보장한다.
• 이 방법은 NID 분포의 특수한 경우로 디리클리 분포를 포함함으로써 LDA를 일반화한다.