[論文レビュー] Unsupervised Neural Hidden Markov Models

Ke Tran, Yonatan Bisk+3 more|arXiv (Cornell University)|Sep 28, 2016

Topic Modeling参考文献 26被引用数 8

ひとこと要約

この論文は、HMMのポテンシャルをニューラルネットワークでパrameter化し、前向き後向きアルゴリズムを介したエンド・ツー・エンドのバックプロパゲーションにより周辺尤度を最大化する、教師なしニューラル隠れマルコフモデル（NHMM）を紹介する。このアプローチは、文脈や語彙素の統合が容易なシンプルでモジュラーなアーキテクチャを採用しており、品詞タグ誘導においても、従来の生成モデルを上回り、最先端の結果に匹敵する性能を達成する。

ABSTRACT

In this work, we present the first results for neuralizing an Unsupervised Hidden Markov Model. We evaluate our approach on tag in- duction. Our approach outperforms existing generative models and is competitive with the state-of-the-art though with a simpler model easily extended to include additional context.

研究の動機と目的

• ニューラルネットワークと教師なしグラフィカルモデルの間のギャップを埋めるために、隠れマルコフモデルをニューラル化すること。
• 周辺尤度最適化によるエンド・ツー・エンドの学習が、より複雑な推論中心のモデルを上回ることを示すこと。
• 文脈特徴（例：LSTM、CNN）および語彙素情報の、潜在変数モデルへのモジュラー統合を可能にすること。
• 従来の特徴工学が一般的な教師なし設定において、ニューラルネットワークの有効性を検討すること。

提案手法

• HMMのポテンシャルをニューラルネットワークでパrameter化：ψ(z,x|θ) = f_NN(z,x|θ) とし、手作業で設計された特徴から学習された表現に置き換える。
• 標準的な前向き後向きアルゴリズムを用いて推論を行い、後方分布 p(z|x) を計算する。
• 尤度の対数の勾配を後方分布を介してバックプロパゲーションし、モデルパラメータθを最適化する。
• Eステップで後方分布を計算し、Mステップで期待完全データ尤度に基づく勾配上昇法によりパラメータを更新するEMアルゴリズムの枠組みを採用する。
• 文脈表現の強化のため、RNN（LSTM）を文レベルの文脈に、CNNを語彙素特徴に用いる。
• 再パrameter化トリックを後方期待値を介して用いて、周辺尤度 E_{p(z|x)}[log p(x,z|θ)] の勾配に基づく最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 教師なし設定において、明示的な教師信号なしに、ニューラルネットワークをHMMポテンシャルのパラメータ化に効果的に用いることは可能か？
• RQ2 後方分布を介したバックプロパゲーションによるエンド・ツー・エンドの学習は、手作業特徴を用いた従来のEM法に比べて性能が向上するか？
• RQ3 LSTMからの追加的文脈特徴や、CNNを用いた語彙素情報は、タグ誘導における性能にどのように影響を与えるか？
• RQ4 重み初期化やドロップアウトといったアーキテクチャ選択が、教師なしNHMMの学習に及ぼす影響の程度はどの程度か？
• RQ5 シンプルなニューラルHMMアーキテクチャが、教師なしNLPタスクで最先端のモデルと同等の結果を達成できるか？

主な発見

• NHMMは、品詞タグ誘導において既存の生成モデルを上回り、最良の設定でV-Measure 71.7を達成した。
• LSTMの文脈情報とCNNによる語彙素特徴の両方を追加することで、性能が著しく向上し、ベースライン（65.5）から合計で16ポイント改善（71.7）された。
• 重み初期化が性能に顕著な影響を与える：±10⁻⁴の均一初期化ではV-Measureが61.7に低下し、教師なし学習における慎重な初期化の重要性が示された。
• ドロップアウトは不可欠である：削除するとV-Measureが6ポイント低下し、安定した学習には正則化が不可欠であることが示された。
• 3層のLSTMを用いることで、1層のものに比べて性能がほぼ5ポイント向上し、より深いアーキテクチャが教師なしNHMMに有益であることが示唆された。
• シンプルさとモジュラー設計にもかかわらず、最先端のシステムと同等の性能を発揮したため、強力なスケーラビリティと拡張性を有していることが示された。