[論文レビュー] Entropy Semiring Forward-backward Algorithm for HMM Entropy Computation

Velimir M. Ilić|arXiv (Cornell University)|Aug 1, 2011

Blind Source Separation Techniques参考文献 11被引用数 3

ひとこと要約

本稿では、エントロピー半環上の前向き後向き再帰を用いてHMMエントロピーおよび部分列制約付きエントロピーを計算するメモリ効率の良い手法、エントロピー半環前向き後向き（ESRFB）アルゴリズムを提案する。この手法は、従来の手法と同等の時間計算量を達成しながら、メモリ使用量を削減でき、状態系列エントロピーをO(N)のメモリで計算でき、Hernandoらのアルゴリズムと同等の性能を示す。また、部分列制約付きエントロピーの計算において、MannとMacCallumの手法よりも低いメモリ使用量を実現する。

ABSTRACT

The paper presents Entropy Semiring Forwardbackward algorithm (ESRFB) and its application for memory efficient computation of the subsequence constrained entropy and state sequence entropy of a Hidden Markov Model (HMM) when an observation sequence is given. ESRFB is based on forward-backward recursion over the entropy semiring, having the lower memory requirement than the algorithm developed by Mann and MacCallum, with the same time complexity. Furthermore, when it is used with forward pass only, it is applicable for the computation of HMM entropy for a given observation sequence, with the same time and memory complexity as the previously developed algorithm by Hernando et al

研究の動機と目的

• 観測系列が与えられたもとで、HMMエントロピーおよび部分列制約付きエントロピーを計算するメモリ効率の良いアルゴリズムの開発。
• 特に、MannとMacCallumの部分列制約付きエントロピー計算手法がO(NT)のメモリを要するなど、既存手法の高いメモリ要件に対処すること。
• 状態系列エントロピーと部分列制約付きエントロピーの両方の計算を、統一されたフレームワーク内で行うこと。
• Hernandoらのアルゴリズムが、提案されたESRFBフレームワークから導出可能であることを示すこと。

提案手法

• ESRFBアルゴリズムは、エントロピー半環上で前向き後向き再帰を実行し、各時刻ごとに2つの状態変数を使用する：正規化確率α(z)(i)とエントロピー加重確率α(h)(i)。
• 数値的安定性を確保し、メモリ効率を向上させるために、各ステップで正規化定数ctを計算する。
• 前向きパスでは、正規化定数でスケーリングされた遷移確率および発生確率を用いて、α(z)(i)とα(h)(i)を再帰的に計算する。
• 後向きパスでは、同じ半環構造を用いて、逆方向にβ(z)(i)とβ(h)(i)を計算し、エントロピー加重確率を後ろ向きに伝搬する。
• 完全な前向き再帰（エントロピー計算用）とz成分の前向き再帰（部分列制約付きエントロピー計算用）を分離することで、メモリの再利用を可能にする。
• 終了段階では、前向き確率と後向き確率の積に加え、中間状態からのエントロピー寄与を用いて、部分列制約付きエントロピーを計算する。

実験結果

リサーチクエスチョン

• RQ1 同一のアルゴリズムが、低メモリ使用量でHMM状態系列エントロピーと部分列制約付きエントロピーの両方を効率的に計算できるか？
• RQ2 エントロピー半環フレームワークを用いて、Hernandoらのメモリ効率の良いアルゴリズムを導出できるか？
• RQ3 ESRFBアルゴリズムは、MannとMacCallumの手法と同等の時間計算量を達成しながら、部分列制約付きエントロピーの計算においてより少ないメモリを使用できるか？
• RQ4 Hernandoらのアルゴリズムの再帰的式は、正式にESRFBフレームワークから導出可能か？

主な発見

• ESRFBアルゴリズムは、部分列制約付きエントロピー計算において、MannとMacCallumの手法と同等の時間計算量O(N²T + N(r−l))を達成する。
• ESRFBのメモリ計算量はO(T−l + N(r−l))であり、MannとMacCallumの手法が要するO(NT)のメモリよりも低い。
• 前方パスのみを用いる場合、ESRFBはO(N)のメモリとO(N²T)の時間で状態系列エントロピーを計算でき、Hernandoらのアルゴリズムと時間的・空間的計算量の両面で同等の性能を示す。
• Hernandoらのアルゴリズムの再帰的式は、正式にESRFBフレームワークの特殊ケースとして導出可能であり、その整合性が裏付けられる。
• 正規化定数ctのおかげで、長大な系列に対しても数値的安定性が保たれ、信頼性の高い計算が可能になる。
• ESRFBフレームワークは、エントロピーと部分列制約付きエントロピーの計算を、一貫した半環に基づく形式的枠組みで統合し、効率的かつ拡張可能な計算を可能にする。