[論文レビュー] Learning higher-order sequential structure with cloned HMMs

Antoine Dedieu, Nishad Gothoskar+4 more|arXiv (Cornell University)|May 1, 2019

Topic Modeling参考文献 28被引用数 6

ひとこと要約

本稿では、スパarsity制約を課したHMMの変種として、隠れ状態を複製することで同じ発生に一意に写像するCloned Hidden Markov Models (CHMMs)を提案する。CHMMsは、n-grams、sequence memoizers、LSTMよりも文字レベルの言語モデリングで優れた性能を発揮し、指数的データ増加を伴わずに長距離依存関係や文脈的「穴」を扱える。

ABSTRACT

Variable order sequence modeling is an important problem in artificial and natural intelligence. While overcomplete Hidden Markov Models (HMMs), in theory, have the capacity to represent long-term temporal structure, they often fail to learn and converge to local minima. We show that by constraining HMMs with a simple sparsity structure inspired by biology, we can make it learn variable order sequences efficiently. We call this model cloned HMM (CHMM) because the sparsity structure enforces that many hidden states map deterministically to the same emission state. CHMMs with over 1 billion parameters can be efficiently trained on GPUs without being severely affected by the credit diffusion problem of standard HMMs. Unlike n-grams and sequence memoizers, CHMMs can model temporal dependencies at arbitrarily long distances and recognize contexts with 'holes' in them. Compared to Recurrent Neural Networks and their Long Short-Term Memory extensions (LSTMs), CHMMs are generative models that can natively deal with uncertainty. Moreover, CHMMs return a higher-order graph that represents the temporal structure of the data which can be useful for community detection, and for building hierarchical models. Our experiments show that CHMMs can beat n-grams, sequence memoizers, and LSTMs on character-level language modeling tasks. CHMMs can be a viable alternative to these methods in some tasks that require variable order sequence modeling and the handling of uncertainty.

研究の動機と目的

• 標準HMMが信用拡散のため失敗する場合に、変数順序系列における高次順序の系列的依存関係を学習する課題に対処すること。
• n-grams や sequence memoizers の限界を克服すること。これらは「穴」（無関係な中間記号）を含む文脈をモデル化する際、指数的データ増加を要する。
• 判別モデル（例：LSTM）とは異なり、不確実性をネイティブに扱える生成モデルの開発。
• GPU上で標準EMアルゴリズムを用いて、10億以上のパラメータを持つ過剰なHMMを効率的に学習・推論可能にする。
• 階層的モデリングやコミュニティ検出に有用な、時間的依存関係の構造的かつ解釈可能な表現を高次グラフとして提供すること。

提案手法

• 生物学的神経組織とダイナミック・マークフ・コーディングにインspiredし、複数の隠れ状態（クローン）が同じ発生状態に一意に写像されるスパarsity構造を発生行列に導入する。
• データパターンに応じて学習アルゴリズムがクローンを動的に割り当てられるように、発生記号ごとの分割容量を備えた制約付きHMMとしてCHMMを形式化する。
• 標準的EM（Baum-Welch）およびオンライン版を用いて学習し、スパarsityを活用して過剰なHMMで一般的な信用拡散問題を回避する。
• 収束を保証するための切断演算子 $\bar{M}^k$ を定義し、収縮写像およびリプシッツ連続性による理論的保証を提供する。
• 近似誤差と推定誤差を束縛するための集団レベル解析を $\psi(k)$ および $\epsilon(N,k,\delta)$ を用いて導入し、真のモデルへの収束を証明する。
• 貪欲な状態分割を避けることでモデルの柔軟性を確保。初期化時にスパースな発生行列を用い、学習が最適なクローン使用を決定する。

実験結果

リサーチクエスチョン

• RQ1 スパarsity制約付きHMMアーキテクチャは、標準HMM、n-grams、LSTMよりも、変数順序系列の依存関係をより効率的に学習できるか？
• RQ2 発生行列におけるクローン構造は、過剰なHMMの学習中に生じる信用拡散問題を緩和するか？
• RQ3 CHMMsは、指数的データ増加を伴わず、長距離時間的依存関係や「穴」（無関係な中間記号）を含む文脈をモデル化できるか？
• RQ4 CHMMsの生成的性質と解釈可能性は、LSTMのような判別モデルと比較して、系列モデリングタスクでどのように異なるか？
• RQ5 CHMMsは、コミュニティ検出や階層的モデリングなどの下流タスクを支援する高次グラフ表現を、系列構造に対して生成できるか？

主な発見

• CHMMsは、複数の英語テキストデータセットを用いた文字レベル言語モデリングタスクにおいて、標準HMM、n-grams、sequence memoizers、LSTMを上回る性能を発揮する。
• CHMMsは、10億以上のパラメータを持つ場合でもGPU上で効率的に学習可能であり、信用拡散問題に対しても頑健である。
• モデルは約1000倍の過剰性を示し、極めてスパースである。これは、系列生成の学習済みで構造的な表現を反映している。
• n-grams や sequence memoizers とは異なり、事前に順序を指定せず、任意に長い時間的依存関係をモデル化可能である。
• 文脈に「穴」（無関係な中間記号）が含まれる場合、CHMMsは指数的データ増加を伴わず性能を維持するが、n-grams や sequence memoizers は指数的データ増加を要する。
• 理論的解析により、近似誤差と推定誤差の tighter バインドのおかげで、CHMMsは真のモデルに収束する速度 $r^{\textsc{CHMM}}(N,k,\delta) < r^{\textsc{HMM}}(N,k,\delta)$ を示す。