[論文レビュー] Hidden Markov Chains, Entropic Forward-Backward, and Part-Of-Speech Tagging

Elie Azeraf, Emmanuel Monfrini+2 more|arXiv (Cornell University)|May 21, 2020

Natural Language Processing Techniques参考文献 38被引用数 6

ひとこと要約

この論文は、前後缀などの任意の特徴を仮定せずに、隠れマルコフ連鎖（HMC）を回復するためのエントロピーに基づく前向き後向き（EFB）確率を導入する。標準の前向き後向きアルゴリズムに代えてエントロピーに基づく推論を用いることで、HMCは部分品詞タギングにおいてMEMMと同等またはそれを上回る性能を発揮でき、深層学習モデルに対する順序付きモデリングの代替手段として再び有効な選択肢となる。

ABSTRACT

The ability to take into account the characteristics - also called features - of observations is essential in Natural Language Processing (NLP) problems. Hidden Markov Chain (HMC) model associated with classic Forward-Backward probabilities cannot handle arbitrary features like prefixes or suffixes of any size, except with an independence condition. For twenty years, this default has encouraged the development of other sequential models, starting with the Maximum Entropy Markov Model (MEMM), which elegantly integrates arbitrary features. More generally, it led to neglect HMC for NLP. In this paper, we show that the problem is not due to HMC itself, but to the way its restoration algorithms are computed. We present a new way of computing HMC based restorations using original Entropic Forward and Entropic Backward (EFB) probabilities. Our method allows taking into account features in the HMC framework in the same way as in the MEMM framework. We illustrate the efficiency of HMC using EFB in Part-Of-Speech Tagging, showing its superiority over MEMM based restoration. We also specify, as a perspective, how HMCs with EFB might appear as an alternative to Recurrent Neural Networks to treat sequential data with a deep architecture.

研究の動機と目的

• HMCが前後缀などの任意の観測特徴を扱えるようにするという長年の制限を克服すること。
• NLPにおけるHMCの失敗は、モデル構造そのものではなく、古くなった回復アルゴリズムに起因することを示すこと。
• MEMMが行えるように任意の特徴を統合できる、新たな推論手法「エントロピーに基づく前向き後向き（EFB）」を提案すること。
• 提案手法を部分品詞タギングにおいて実証的に評価し、MEMMベースの手法と比較すること。
• EFBを用いたHMCを、順序付きデータモデリングのためのRNNの代替手段として位置づけること。

提案手法

• 古典的な前向き後向きアルゴリズムに代わって、エントロピーに基づく推論を用いた前向き・後向き確率をHMCに導入する。
• エントロピーに基づく推論を用いて状態の後験確率を計算し、任意の特徴の柔軟な統合を可能にする。
• 任意のサイズの特徴（例：前後缀）を条件付き独立性を仮定せずに処理できるように、EFBアルゴリズムを設計する。
• 標準的なNLP特徴セットを用いて、EFBに基づくHMCの回復を部分品詞タギングに適用する。
• 最大尤度推定フレームワークを用いてHMCのパラメータを学習し、特徴の表現力を保持する。
• EFB推論メカニズムを活用することで、HMCフレームワークを深層構造へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 エントロピーに基づく推論を用いて、任意の観測特徴を扱えるようにHMCを効果的に回復できるか？
• RQ2 同じ特徴セットを用いた場合、EFBに基づくHMCは部分品詞タギングでMEMMを上回るか？
• RQ3 EFB推論を用いたHMCは、順序付きモデリングタスクにおいてRNNの実用的代替手段として機能できるか？
• RQ4 HMCがNLPで制限を受ける原因はモデル構造にあるのか、それとも推論アルゴリズムにあるのか？
• RQ5 n-gramや語彙素パターンのような複雑な特徴セットに対して、EFB手法はどのようにスケーリングするか？

主な発見

• EFBに基づくHMCは、標準ベンチマークにおいてMEMMベースの回復手法よりも優れた部分品詞タギング精度を達成した。
• 独立性の仮定を必要とせず、前後缀などの任意の特徴を効果的に統合できた。
• 実証的結果から、同じ特徴セットで学習した場合、EFB推論を用いたHMCはMEMMを上回ることが示された。
• EFBアルゴリズムにより、HMCは原理的かつスケーラブルに非マルコフ的特徴を処理できるようになった。
• 著者らは、順序付きデータのための深層RNNの軽量で解釈可能な代替手段として、EFBを用いたHMCが有効であると提言している。
• 提案手法により、特徴統合の歴史的制限を克服することで、HMCが現代NLPにおける実用的選択肢として再び立ち上がった。