[논문 리뷰] On Estimation and Selection for Topic Models

Matthew A. Taddy|arXiv (Cornell University)|2011. 09. 21.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 82

한 줄 요약

이 논문은 잠재 변수를 재매arameter화하고 블록 대각 라플라스 근사법을 사용하여 주변 가능도를 추정함으로써 계산 효율성과 모델 선택을 향상시키는 주제 모델에 대한 공동 최대사후확률(MAP) 추정 프레임워크를 제안한다. 이 방법은 빠르고 확장 가능한 추론을 가능하게 하며, 실제 텍스트 데이터에서 변분 EM과 깁스 샘플링보다 정확도와 수렴 속도에서 뛰어난 성능을 보이는 주제 수 선택을 위한 기본 접근법을 제공한다.

ABSTRACT

This article describes posterior maximization for topic models, identifying computational and conceptual gains from inference under a non-standard parametrization. We then show that fitted parameters can be used as the basis for a novel approach to marginal likelihood estimation, via block-diagonal approximation to the information matrix,that facilitates choosing the number of latent topics. This likelihood-based model selection is complemented with a goodness-of-fit analysis built around estimated residual dispersion. Examples are provided to illustrate model selection as well as to compare our estimation against standard alternative techniques.

연구 동기 및 목표

• 표준 주제 모델 추정 기법에서 고차원 잠재 변수 증강을 피하는 계산적으로 효율적이고 개념적으로 타당한 대안을 개발하기 위해.
• 주제 모델에서 잠재 주제 수(K)를 선택하기 위한 기본 방법론의 부재 문제를 해결하기 위해.
• 기존 기법들인 변분 EM과 깁스 샘플링과 비교해 추정 정확도와 수렴 속도를 향상시키기 위해.
• 정보 행렬의 블록 대각 근사를 사용해 가능도 기반의 모델 선택 기준을 제공하기 위해.
• 주제 군집화 외의 요인으로 인한 과분산을 식별하기 위해 잔차 분산 추정을 통해 모델 적합도를 평가하기 위해.

제안 방법

• 주제 분포(θ)와 문서-주제 가중치(ω)에 대한 공동 후행 최대화를 사용하며, 계산 안정성을 향상시키기 위해 모델을 재매개변수화한다.
• 각 문서의 ωi를 이차계획법으로 업데이트하고 θk를 기울기 상승법으로 업데이트하는 블록 이완 알고리즘을 적용한다.
• 관측된 정보 행렬에 블록 대각 라플라스 근사를 적용하여 주변 가능도를 추정하고, K 선택을 가능하게 한다.
• 주제 구조가 설명하지 못하는 과분산을 고려하기 위해 잔차 분산을 적합도 측정 기준으로 추정한다.
• 예측 평가에서 ωi에 대한 조건부 MAP 추정을 Dir(1/K) 사전분포 하에 적용한다.
• 각 문서의 ωi에 대한 독립적인 업데이트를 병렬화하여 효율적인 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 주제와 문서 가중치에 대한 공동 MAP 추정이 주제 모델의 계산 효율성과 추정 정확도를 향상시킬 수 있는가?
• RQ2 정보 행렬의 블록 대각 라플라스 근사가 주변 가능도 추정 및 주제 수 선택에 대해 신뢰성 있고 확장 가능한 방법을 제공할 수 있는가?
• RQ3 제안된 방법은 변분 EM과 깁스 샘플링과 비교해 수렴 속도, 예측 성능, 추정 품질 측면에서 어떻게 다른가?
• RQ4 잔차 분산은 주제 군집화 효과를 초월한 모델의 부적합성을 어느 정도 반영하는가?
• RQ5 이 방법은 수십만 개의 문서와 수천 개의 어휘를 포함한 대규모 데이터셋에 대해 효율적으로 확장될 수 있는가?

주요 결과

• 공동 MAP 추정 방법은 변분 EM과 깁스 샘플링보다 보류된 데이터에서 더 높은 예측 가능도를 달성했으며, 수렴 속도도 더 빠르게 나타났다.
• we8there 데이터셋에서는 K=20에서 주변 가능도가 최대화되었고, Congres109 데이터셋에서는 K=12에서 최대화되어 효과적인 자동 주제 수 선택이 가능함을 보여주었다.
• K=200일 때조차도 잔차 분산 추정치가 1보다 유의미하게 높게 유지되어 주제 군집화 외의 요인(예: 어구 수준의 상관관계)으로 인한 과분산이 존재함을 시사했다.
• MAP 추정은 변분 EM보다 평균 제곱 오차가 낮았고, 깁스 샘플링보다 훨씬 낮았으며, 변분 EM보다도 계산 자원을 덜 소비함에도 불구하고 성능이 뛰어났다.
• 알고리즘은 효율적으로 확장되었으며, 표준 데스크톱 환경에서 20만 개 이상의 문서와 1만 개 이상의 어휘에 대해 20개 이상의 주제를 10분 이내에 학습할 수 있었다.
• Congres109 모델의 상위 주제 어휘들은 강한 정당성의 차이를 보이며 공화당과 민주당의 주제가 뚜렷하게 구분되어 있어, 모델의 해석 가능성에 대한 타당성을 입증했다.