[논문 리뷰] Learning Topic Models and Latent Bayesian Networks Under Expansion Constraints

Animashree Anandkumar, Daniel Hsu외 2명|arXiv (Cornell University)|2012. 09. 24.

Bayesian Modeling and Causal Inference참고 문헌 67인용 수 7

한 줄 요약

이 논문은 주제-말뭉치 매트릭스 또는 DAG의 약한 전개 조건 하에, 고차 모멘트를 사용하지 않고 두 번째 순서의 관측된 모멘트만을 사용하여 주제 모델과 잠재 베이지안 네트워크를 학습하기 위한 순간 기반 방법을 제안한다. 주요 기여는 임의의 상관관계를 가진 잠재 변수가 존재하더라도, 잠재 변수의 분포에 대한 가정 없이도 ℓ₁-정규화 최적화를 통한 증명 가능한 식별성과 효율적 학습을 달성하는 것이다.

ABSTRACT

Unsupervised estimation of latent variable models is a fundamental problem central to numerous applications of machine learning and statistics. This work presents a principled approach for estimating broad classes of such models, including probabilistic topic models and latent linear Bayesian networks, using only second-order observed moments. The sufficient conditions for identifiability of these models are primarily based on weak expansion constraints on the topic-word matrix, for topic models, and on the directed acyclic graph, for Bayesian networks. Because no assumptions are made on the distribution among the latent variables, the approach can handle arbitrary correlations among the topics or latent factors. In addition, a tractable learning method via $\ell_1$ optimization is proposed and studied in numerical experiments.

연구 동기 및 목표

• 잠재 변수 모델, 특히 주제 모델과 베이지안 네트워크의 식별성 문제를 해결하기 위해.
• 잠재 변수에 대한 특정 분포를 가정하지 않고도 주제나 잠재 요소 간에 임의의 상관관계를 허용하는 학습을 가능하게 하기 위해.
• 두 번째 및 세 번째 순서의 관측된 모멘트만을 사용하여 식별성에 충분한 조건을 설정하기 위해.
• 모델의 잘못된 특정화에 강건한, ℓ₁-최적화 기반의 계산 가능 학습 알고리즘을 개발하기 위해.
• 공통된 전개 조건 프레임워크 하에 주제 모델과 베이지안 네트워크의 분석을 통합하기 위해.

제안 방법

• 모델의 파라미터를 추정하기 위해 고차 모멘트 추정을 피하기 위해 두 번째 순서의 관측된 모멘트(공분산 행렬)에 의존한다.
• 주제-말뭉치 매트릭스에 약한 전개 조건을 도입한다: 모든 주제 부분 집합은 단어 집합에서 충분히 큰 이웃을 가져야 하며, 이는 식별 가능한 구조를 보장한다.
• 베이지안 네트워크의 경우 전개 성질은 DAG의 구조에 정의되며, 모든 은닉 노드 부분 집합이 관측 변수에 영향을 주는 충분한 수의 출력 간선을 가져야 한다.
• 행렬의 열 방향으로의 희소성과 DAG에서의 간선 희소성을 촉진하기 위해 ℓ₁-정규화 최적화를 사용한다.
• ECA(eigenvector component analysis) 단계를 위해 반복 승법(power iteration)을 구현하여 확장 가능한 계산을 가능하게 한다.
• 계층적 및 DAG 기반 모델에 대한 수치 실험을 통해 성능을 검증하였으며, 표본 수가 증가함에 따라 수렴하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 임의의 잠재 주제 분포를 가진 주제 모델이 두 번째 순서의 모멘트만으로 식별될 수 있는가?
• RQ2 관측된 두 번째 순서 모멘트로부터 잠재 베이지안 네트워크가 어떤 조건에서 식별 가능한가?
• RQ3 주제-말뭉치 매트릭스 또는 DAG의 전개 조건이 잠재 변수의 분포에 대한 가정 없이도 식별성을 보장하는 방법은 무엇인가?
• RQ4 고차원 잠재 모델에서 희소하고 식별 가능한 해를 복구하는 데 있어 ℓ₁-정규화의 역할은 무엇인가?
• RQ5 학습 알고리즘의 성능은 표본 수와 모델 복잡도에 따라 어떻게 변화하는가?

주요 결과

• 논문은 전개 조건 하에서 주제-말뭉치 매트릭스의 열들이 열 공간 내에서 가장 희소한 벡터임을 입증하여 주제의 유일한 식별을 가능하게 한다.
• 계층적 주제 모델의 경우, 계수 행렬 추정에 대해 높은 정확도를 달성하였으며, 표본 수가 증가할수록 오차가 감소하였다.
• 베이지안 네트워크 실험에서, 진짜와 추정된 계수 행렬(Λ) 간의 거리가 표본 수가 20만에서 50만으로 증가함에 따라 0.7933에서 0.1778로 감소하였고, 재현율은 거의 1에 가까웠다.
• 50만 개의 표본에서 A 행렬(관측 변수에서 은닉 변수로의 계수) 추정 시 정밀도는 0.3352, 재현율은 0.9751을 기록하여 비제로 간선의 강력한 복구를 보였다.
• 비정규 분포 및 비대칭 분포를 가진 잡음이 존재하는 모델에서도 알고리즘이 성공적으로 학습되었으며, 분포에 대한 가정에 강건함을 입증하였다.
• 이론적 분석을 통해 전개 조건 하에서 일반적인 파라미터 값이 주어지면, 주제가 임의로 상관관계를 가질 경우에도 식별성이 보장됨을 확인하였다.