[論文レビュー] Learning Hidden Markov Models from Pairwise Co-occurrences with Application to Topic Modeling

Kejun Huang, Xiao Fu+1 more|arXiv (Cornell University)|Feb 19, 2018

Bayesian Methods and Mixture Models参考文献 17被引用数 5

ひとこと要約

本稿では、EMの計算負荷を回避するために、発生の対ごとの共起確率から隠れマルコフモデル（HMM）を学習する新規なアルゴリズムを提案する。発生のスパarsityにやや緩い条件のもとでHMMの同定が可能であることを確立し、共通の発生を持つ隠れトピックマルコフモデル（HTMM）を用いたトピックモデリングで、従来のbag-of-wordsモデルよりも一貫性があり、より明確なトピック推論が得られることを示す。

ABSTRACT

We present a new algorithm for identifying the transition and emission probabilities of a hidden Markov model (HMM) from the emitted data. Expectation-maximization becomes computationally prohibitive for long observation records, which are often required for identification. The new algorithm is particularly suitable for cases where the available sample size is large enough to accurately estimate second-order output probabilities, but not higher-order ones. We show that if one is only able to obtain a reliable estimate of the pairwise co-occurrence probabilities of the emissions, it is still possible to uniquely identify the HMM if the emission probability is \emph{sufficiently scattered}. We apply our method to hidden topic Markov modeling, and demonstrate that we can learn topics with higher quality if documents are modeled as observations of HMMs sharing the same emission (topic) probability, compared to the simple but widely used bag-of-words model.

研究の動機と目的

• 長時間の観測系列におけるHMM学習におけるEMの計算不能性に対処すること。
• 高階モーメントではなく、2次共起統計のみが利用可能な状況でもHMMの同定を可能にすること。
• 発生のスパarsityと遷移制約のもとで、HMMパラメータを一意に同定する手法を開発すること。
• この手法をトピックモデリングに応用し、共有される発生を持つHMMとして文書をモデル化することで、トピックの整合性を向上させること。
• HTMMがpLSAやbag-of-wordsモデルよりも一貫性があり、人間が解釈しやすいトピック割り当てをもたらすことを示すこと。

提案手法

• 本手法は、HMM学習を非負の行列三重因子分解問題として定式化する：Ω = MΘMᵀ、ここでΩは対ごとの共起行列、Mは発生行列、Θは遷移行列である。
• HMMの構造的制約を活用して同定性を保証し、特に発生確率が十分に散らばっている（一般的）場合および遷移行列がスパースな場合に有効である。
• EMを回避し、2次統計から直接HMMパラメータを推定することで、計算複雑度をO(K²T)からスケーラブルな固定サイズの最適化に低減する。
• 三重共起確率のテンソルベースの同定性結果を用いて、一般性とスパarsity条件のもとで一意性を正当化する。
• HMMパラメータが学習された後、Viterbiアルゴリズムを用いて隠れ状態およびトピック割り当てを推定する。
• K ≤ N²/16および遷移のスパarsityを満たす条件下で、HMMが対ごとの共起から一意に同定可能である理論的条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 発生の対ごとの共起確率のみからHMMを一意に同定できるか？
• RQ2 発生および遷移分布にどのような条件下でHMMの同定が一意に保証されるか？
• RQ3 この手法は、従来のEMおよびbag-of-wordsモデルよりもトピックモデリングの品質で優れているか？
• RQ4 提案手法は、文書レベルのトピック推論におけるトピックの整合性と一貫性をどのように向上させるか？
• RQ5 2次統計からのHMM同定にどのような理論的保証が存在するか？

主な発見

• 発生行列が一般的で、遷移行列がスパース（1行あたり≤ N/2非ゼロ要素）である限り、本手法は対ごとの共起統計からHMMを一意に同定できる。
• HMMが順序依存性を捉えることで、本手法はbag-of-wordsモデルよりも高品質なトピックモデリングを実現する。
• Viterbiアルゴリズムを用いたHTMM推論により、リーダーズ21578データセットでの実証により、文書内の単語間で一貫性があり、より明確なトピック割り当てが得られる。
• 理論的分析により、K ≤ N²/16の下で、一般性とスパarsity仮定のもとで、三重共起確率からHMMが一意に同定可能であることが示された。
• 本手法は、2次統計に直接基づくことで、EMの収束の遅さと高い計算複雑度を回避し、長時間系列へのスケーラビリティを実現する。
• 実験的結果により、HTMMはpLSAやbag-of-wordsモデルよりも人間の解釈に適合するトピック系列を生成することが示された。