[논문 리뷰] Learning Hidden Markov Models from Pairwise Co-occurrences with Application to Topic Modeling

Kejun Huang, Xiao Fu외 1명|arXiv (Cornell University)|2018. 02. 19.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 5

한 줄 요약

이 논문은 은닉 마르코프 모델(HMM)을 핍보의 쌍별 공존 확률에서 학습하는 새로운 알고리즘을 제안한다. 이는 EM의 계산 부담을 피하는 데 목적이 있으며, 방출의 희박성에 대한 온건한 조건 하에서 고유한 HMM 식별을 확립한다. 또한 은닉 주제 마르코프 모델(HTMM)을 통해 기존의 단어 봉투 모델보다 더 일관되고 타당한 주제 추론을 가능하게 한다.

ABSTRACT

We present a new algorithm for identifying the transition and emission probabilities of a hidden Markov model (HMM) from the emitted data. Expectation-maximization becomes computationally prohibitive for long observation records, which are often required for identification. The new algorithm is particularly suitable for cases where the available sample size is large enough to accurately estimate second-order output probabilities, but not higher-order ones. We show that if one is only able to obtain a reliable estimate of the pairwise co-occurrence probabilities of the emissions, it is still possible to uniquely identify the HMM if the emission probability is \emph{sufficiently scattered}. We apply our method to hidden topic Markov modeling, and demonstrate that we can learn topics with higher quality if documents are modeled as observations of HMMs sharing the same emission (topic) probability, compared to the simple but widely used bag-of-words model.

연구 동기 및 목표

• 장수열에 대한 HMM 학습에서 EM의 계산 비용 문제를 해결하기 위해.
• 고차수 모멘트가 아닌 두 번째 차수의 공존 통계만 이용 가능한 상황에서 HMM 식별을 가능하게 하기 위해.
• 방출 희박성과 전이 제약 조건 하에서 HMM 파라미터를 고유하게 식별할 수 있는 방법을 개발하기 위해.
• 이 방법을 주제 모델링에 적용하여, 공유되는 방출을 가진 HMM으로 문서를 모델링함으로써 주제 일관성 향상을 이루기 위해.
• HTMM이 pLSA나 단어 봉투 모델 대비 더 일관되고 인간이 이해할 수 있는 주제 할당을 제공함을 보여주기 위해.

제안 방법

• 이 방법은 HMM 학습을 비음수 행렬 삼분해 문제로 공식화한다: Ω = MΘMᵀ, 여기서 Ω는 쌍별 공존 행렬, M은 방출 행렬, Θ는 전이 행렬이다.
• HMM의 구조적 제약 조건을 활용하여 식별성을 보장하며, 특히 방출 확률이 충분히 산산이 흩어져 있거나 일반적(generic)이고 전이 행렬이 희박한 경우에 유용하다.
• EM을 피하기 위해 두 번째 차수 통계에서 직접 HMM 파라미터를 추정함으로써 계산 복잡도를 O(K²T)에서 고정 크기의 최적화로 줄인다.
• 삼중 공존 확률에 대한 텐서 기반의 식별성 결과를 활용하여, 일반성과 희박성 조건 하에서 고유성의 타당성을 정당화한다.
• HMM 파라미터 학습 후에는 Viterbi 알고리즘을 적용하여 은닉 상태와 주제 할당을 추론한다.
• HMM이 쌍별 공존에서 고유하게 식별 가능한 이론적 조건을 설정하며, 이는 K ≤ N²/16 및 전이 희박성 조건을 포함한다.

실험 결과

연구 질문

• RQ1 방출의 쌍별 공존 확률만으로 HMM을 고유하게 식별할 수 있는가?
• RQ2 방출 및 전이 분포에 대해 어떤 조건이 성립할 경우 HMM 식별이 고유하게 보장되는가?
• RQ3 이 방법이 기존의 EM 및 단어 봉투 모델 대비 주제 모델링 품질에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 제안된 방법은 문서 수준의 주제 추론에서 주제 일관성과 공명성을 어떻게 향상시키는가?
• RQ5 두 번째 차수 통계에서 HMM 식별에 대해 어떤 이론적 보장 조건이 존재하는가?

주요 결과

• 방출 행렬이 일반적이고 전이 행렬이 희박(행당 최대 N/2개의 비영 요소)일 경우, 제안된 방법은 쌍별 공존 통계에서 HMM을 고유하게 식별한다.
• HMM을 통해 순서적 의존성을 포착함으로써, 단어 봉투 모델 대비 더 높은 품질의 주제 모델링을 달성한다.
• Viterbi 알고리즘을 사용한 HTMM 추론은 레이터스21578 데이터셋에서 검증된 바와 같이 문서 내 단어 간 더 일관되고 일관된 주제 할당을 생성한다.
• 이론적 분석 결과, K ≤ N²/16 조건 하에서 일반성과 희박성 가정 하에 삼중 공존 확률에서 HMM이 고유하게 식별 가능하다.
• 이 방법은 두 번째 차수 통계를 직접 활용함으로써 EM의 느린 수렴과 높은 복잡도 문제를 피하며, 장수열에 대한 확장성을 확보한다.
• 실험 결과, HTMM는 pLSA나 단어 봉투 모델 대비 인간의 해석과 더 잘 부합하는 주제 시퀀스를 도출함을 보여준다.