[논문 리뷰] When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity

Anima Anandkumar, Daniel Hsu외 2명|arXiv (Cornell University)|2013. 08. 13.

Tensor decomposition and applications참고 문헌 47인용 수 17

한 줄 요약

이 논문은 고차원 모멘트 텐서와 구조적 희소성에 의한 투커 분해를 통해 초과완성 주제 모델의 일반적 식별 가능성 조건을 수립한다. 주제 지속성과 완벽한 $n$-그램 매칭을 핵심 메커니즘으로 도입하여 어휘 크기보다 주제 수가 많은 경우에도 식별 가능성을 보장하며, 약간의 조건 하에 무작위로 구성된 구조적 주제 모델이 높은 확률로 식별 가능하다는 것을 증명한다.

ABSTRACT

Overcomplete latent representations have been very popular for unsupervised feature learning in recent years. In this paper, we specify which overcomplete models can be identified given observable moments of a certain order. We consider probabilistic admixture or topic models in the overcomplete regime, where the number of latent topics can greatly exceed the size of the observed word vocabulary. While general overcomplete topic models are not identifiable, we establish generic identifiability under a constraint, referred to as topic persistence. Our sufficient conditions for identifiability involve a novel set of "higher order" expansion conditions on the topic-word matrix or the population structure of the model. This set of higher-order expansion conditions allow for overcomplete models, and require the existence of a perfect matching from latent topics to higher order observed words. We establish that random structured topic models are identifiable w.h.p. in the overcomplete regime. Our identifiability results allows for general (non-degenerate) distributions for modeling the topic proportions, and thus, we can handle arbitrarily correlated topics in our framework. Our identifiability results imply uniqueness of a class of tensor decompositions with structured sparsity which is contained in the class of Tucker decompositions, but is more general than the Candecomp/Parafac (CP) decomposition.

연구 동기 및 목표

• 주제 수가 어휘 크기보다 많은 초과완성 주제 모델이 관측 가능한 고차원 모멘트로부터 어떻게 유일하게 식별될 수 있는지 조건을 규명하는 것.
• 효율적이고 신뢰할 수 있는 특징 학습을 방해해 온 초과완성 잠재변수 모델에서의 비식별성 문제를 해결하는 것.
• 초과완성 환경에서 식별 가능성을 가능하게 하는 구조적 제약 조건인 주제 지속성의 개념을 도입하고 공식화하는 것.
• 주제-단어 행렬의 조합론적 및 대수적 성질, 특히 완벽한 $n$-그램 매칭과 크루스칼 랭크를 바탕으로 식별 가능성에 대한 충분조건을 설정하는 것.
• CP 분해를 초월하여 더 넓은 범위의 투커 분해(구조적 희소성 포함)에 대해 유일성 결과를 확장하는 것.

제안 방법

• 연속된 $n$개의 단어가 문서 내에서 동일한 주제를 공유하는 $n$-지속 주제 모델을 도입하여 식별 가능성을 가능하게 하는 局소적 구조를 도입한다.
• 완벽한 $n$-그램 매칭을 주제-단어 이분 그래프에 대한 조합 조건으로 정의하여 각 주제가 고유한 $n$개 단어의 순서와 연결될 수 있음을 보장한다.
• 주제-단어 행렬에 대한 고차원 확장 조건을 사용하여 모델의 모멘트 텐서가 식별에 필요한 랭크 구조를 갖도록 보장한다.
• 무작위 행렬 이론과 확률적 경계를 적용하여 무작위로 구성된 구조적 주제 모델이 요구 조건을 높은 확률로 만족함을 보여준다.
• 구조적 희소성 하에서 투커 유형 분해의 유일성을 보장하기 위해 크루스칼 랭크 조건을 활용한다.
• 무작위 희소성 및 차수 제약 조건 하에서 주제-단어 행렬에서 유도된 부분행렬의 전치행렬의 완전한 열 랭크를 증명하는 것으로 식별 문제를 환원한다.

실험 결과

연구 질문

• RQ1 어떤 조건 하에 초과완성 주제 모델이 관측 가능한 고차원 모멘트로부터 일반적으로 식별될 수 있는가?
• RQ2 주제 지속성—단어 시퀀스에서의 주제 국소 공존—은 초과완성 모델에서 식별 가능성에 어떻게 영향을 미치는가?
• RQ3 주제-단어 행렬에 대해 어떤 조합론적 및 대수적 조건이 초과완성 환경에서 텐서 분해의 유일성을 보장하는가?
• RQ4 무작위로 구성된 구조적 주제 모델이 초과완성 설정에서 높은 확률로 식별 가능하다고 보일 수 있는가?
• RQ5 제안된 조건들은 기존의 CP 분해에 대한 유일성 결과와 어떻게 관련되거나 일반화하는가?

주요 결과

• 논문은 주제-단어 행렬이 완벽한 $n$-그램 매칭을 가지며 고차원 확장 조건을 만족할 경우 초과완성 주제 모델이 일반적으로 식별 가능하다고 증명한다.
• 무작위로 구성된 구조적 주제 모델은 주제 수 $q$가 $q \leq \left(c\frac{p}{2}\right)^2$ 를 만족할 경우 높은 확률로 식별 가능하며, 여기서 $p$는 어휘 크기이고 $c$는 희소성과 관련된 상수이다.
• 주제-단어 행렬의 크루스칼 랭크가 높은 확률로 $cp$ 이상임을 보여주며, 이는 텐서 분해에서 유일성에 핵심 조건이다.
• 식별 가능성 결과는 일반(비퇴화) 주제 비율 분포에 대해 성립하며, 주제 간 상관관계가 임의로 높아도 가능하다.
• 이 프레임워크는 CP 분해를 초월하여 구조적 희소성와 함께 더 넓은 범위의 투커 분해에 대해 유일성을 보장한다.
• 조건들은 제4차 모멘트 텐서로부터 조건이 충분히 강력하여 $q \gg p$ 인 경우에도 잠재 주제 구조가 유일하게 복원될 수 있음을 보장한다.