[論文レビュー] Equivalence of History and Generator Epsilon-Machines

Nicholas F. Travers, James P. Crutchfield|arXiv (Cornell University)|Nov 18, 2011

Cellular Automata and Applications被引用数 9

ひとこと要約

本稿は、有限状態、定常、エルゴード、有限アルファベットの場合の、二つのエプシロン・マシン定義の形式的同等性を確立する。すなわち、同一の未来分布を持つ過去系列の同値類に基づく最小のユニフィラ（一意的）な隠れマルコフモデルとして定義される「履歴エプシロン・マシン」と、確率的に異なる状態を持つユニフィラでエッジ出力型のHMMとして定義される「生成者エプシロン・マシン」の同等性を示す。主な貢献は、同期理論と大偏差推定を用いて、有限状態、定常、エルゴード、有限アルファベットの場合の直接的かつ初等的な同等性の証明である。

ABSTRACT

Epsilon-machines are minimal, unifilar presentations of stationary stochastic processes. They were originally defined in the history machine sense, as hidden Markov models whose states are the equivalence classes of infinite pasts with the same probability distribution over futures. In analyzing synchronization, though, an alternative generator definition was given: unifilar, edge-emitting hidden Markov models with probabilistically distinct states. The key difference is that history epsilon-machines are defined by a process, whereas generator epsilon-machines define a process. We show here that these two definitions are equivalent in the finite-state case.

研究の動機と目的

• 履歴エプシロン・マシンと生成者エプシロン・マシンの定義の正式な同等性を確立すること。これは以前から仮定されてきたが、厳密な証明がなされていなかった。
• 有限状態、定常、エルゴード過程の文脈において、プロセスから導かれる（履歴）エプシロン・マシンと、プロセスを定義する（生成者）エプシロン・マシンとの間の基礎的差異を明確にすること。
• 先行研究で用いられる高度な測度論的道具を避けて、自己完結的で初等的な同等性証明を提供すること。
• 生成者エプシロン・マシンが同期理論において使用可能であることを裏付けるために、履歴エプシロン・マシン枠組みと正式に同等であることを検証すること。
• 同等性が、定常性、エルゴード性、有限アルファベットという標準的仮定のもとで成立することを明確にすること。これらは生成者定義が一意に定義されたプロセスを生成するのに不可欠である。

提案手法

• 履歴エプシロン・マシンを、関係 $\sim_\epsilon$ に基づく、同一の未来分布を持つ無限過去の同値類として定義されるユニフィラHMMとして定義する。
• 生成者エプシロン・マシンを、確率的に異なる状態を持つユニフィラでエッジ出力型のHMMとして定義し、その定常分布によって定常プロセスを生成する。
• 先行研究[12, 13]の同期結果を用いて、生成者モデル下での過去系列が同じ状態に収束する様子を分析する。
• 有限状態マルコフ連鎖における大偏差推定を適用し、状態遷移における誤分類確率の上限を求める。
• プロセスの定常性とエルゴード性を活用して、履歴エプシロン・マシンの遷移行列が確率的かつ適切に定義されることを保証する。
• 両モデルが同一の不変測度と遷移構造をもたらすことを示すことにより、生成者モデルの状態遷移と出力分布が履歴モデルと一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 有限状態、定常、エルゴード、有限アルファベットの場合に、履歴エプシロン・マシンと生成者エプシロン・マシンの定義は同等であるか？
• RQ2 確率的に異なる状態を持つユニフィラHMMとして定義される生成者エプシロン・マシンは、そのプロセスから導かれる履歴エプシロン・マシンと同じプロセスを生成するか？
• RQ3 高度な測度論的議論に依存せずに、情報理論と大偏差理論の初等的道具のみで同等性を証明できるか？
• RQ4 同等性が成立するための最小限の仮定は何か？ それらは先行研究における仮定とどのように比較できるか？
• RQ5 [11]における形式的構成のような先行研究では、同等性が暗黙的であるか、それとも明示的な証明と解釈が必要か？

主な発見

• 有限状態空間、定常性、エルゴード性、有限アルファベットの仮定のもとで、履歴エプシロン・マシンと生成者エプシロン・マシンの定義は正式に同等である。
• 履歴エプシロン・マシンの遷移行列 $T = \sum_{x \in \mathcal{X}} T^{(x)}$ は確率的であり、モデルが隠れマルコフモデルとして適切に定義されることを保証する。
• 生成者エプシロン・マシンの出力プロセスは元のプロセス $\mathcal{P}$ と一致し、その状態遷移は履歴エプシロン・マシンのそれと同型である。
• 証明は、スーパーマルティンゲールの議論やマルティンゲール収束定理に依存せず、主に大偏差推定と基本的な情報理論の手法に依存している。
• 同等性は自明ではない。生成者モデルが一意な定常プロセスを定義できるようにするには、エルゴード性と有限アルファベットの仮定が必要である。
• この結果により、生成者エプシロン・マシンが同期理論や予測モデリングに使用可能であることが裏付けられ、より広く知られた履歴ベースの構成と正式に同等であることが確認された。