[論文レビュー] Variable length Markov chains and dynamical sources

Peggy Cénac, Brigitte Chauvin+2 more|arXiv (Cornell University)|Jul 18, 2010

Algorithms and Data Compression参考文献 26被引用数 13

ひとこと要約

本稿は、変動長マルコフ連鎖（VLMC）と確率的力学的源の間の厳密な確率的枠組みを確立する。単位区間から記号列への可測写像を構築することで、任意のVLMCが力学的源として現れることを証明する。また、無限の櫛構造とブамブーの花の構造という2つの代表的なVLMC例について、定常測度の存在および一意性に関する必要十分条件を、ディリクレ級数と生成関数を用いて導出する。

ABSTRACT

Infinite random sequences of letters can be viewed as stochastic chains or as strings produced by a source, in the sense of information theory. The relationship between Variable Length Markov Chains (VLMC) and probabilistic dynamical sources is studied. We establish a probabilistic frame for context trees and VLMC and we prove that any VLMC is a dynamical source for which we explicitly build the mapping. On two examples, the ``comb'' and the ``bamboo blossom'', we find a necessary and sufficient condition for the existence and the unicity of a stationary probability measure for the VLMC. These two examples are detailed in order to provide the associated Dirichlet series as well as the generating functions of word occurrences.

研究の動機と目的

• 単位区間から記号列への可測変換を構築することで、VLMCと確率的力学的源との間の関係を形式化すること。
• 特に無限記憶を持つ非マルコフ型モデルを含むVLMCにおける定常確率測度の存在および一意性に関する必要十分条件を確立すること。
• 生成関数とディリクレ級数を用いて、VLMCによって生成される列における語出現統計を分析すること。
• トライ木などのデータ構造における混合性および確率過程の結果を、スペクトルギャップのない場合を含め、VLMC駆動源へと拡張すること。

提案手法

• 文脈木から導かれる順序付き分割を用いて、単位区間上に可測写像 $ T $ を定義することで、確率的力学的源を構築する。
• 葉が記憶コンテキストを表す文脈木の概念を用い、各コンテキスト $ c $ に対して遷移確率 $ q_c(\alpha) $ を割り当てる。
• 分割の原理（式3）と互いに素な和分解を用い、定常測度のための線形方程式系を導出する。
• 生成関数とディリクレ級数を用いて、VLMCによって生成される列における語出現の正確な分布を計算する。
• 最小コンテキストの確率を含む線形方程式系を用いて定常測度を分析し、非可約性条件によって一意性を保証する。
• スペクトル的および混合性の仮定を適用し、トライ木のパラメータに関する結果を、スペクトルギャップのない非混合状態を含むVLMC源へと拡張する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下でVLMCが一意な定常確率測度をもつのか。
• RQ2 単位区間上の可測変換を用いて、VLMCはどのように確率的力学的源として表現できるのか。
• RQ3 VLMCによって生成される列における語出現の正確な分布は何か。また、生成関数を用いてどのように計算できるか。
• RQ4 ディリクレ級数は、特に無限の櫛構造とブームブーの花モデルにおいて、VLMCの定常測度とどのように関係するか。
• RQ5 動的源におけるトライ木のパラメータに関する結果は、スペクトルギャップが存在しない場合を含め、VLMC駆動列へと拡張可能か。

主な発見

• 任意のVLMCは、文脈木と遷移確率から明示的に構築された可測写像 $ T $ を用いて、確率的力学的源と等価である。
• 無限の櫛構造モデルでは、定常測度が存在し、かつ一意であるための必要十分条件は、$ q_{0^{n+1}}(1)S_n + q_{0^n1}(0)c_n \neq 0 $ である。ここで $ S_n $ および $ c_n $ は積と和の公式により定義される。
• ブームブーの花モデルでは、定常測度が存在し、かつ一意であるための条件は、$ q_{00}(1)[1 + q_1(0)] + q_1(0)^2 q_{010}(0) + q_1(0)q_1(1)q_{011}(0) \neq 0 $ であり、これはすべての遷移確率が自明でない場合に成立する。
• 櫛構造モデルにおける語出現の正確な分布の生成関数は、文脈木の再帰的構造と線形方程式系を用いて導出される。
• 櫛構造およびブームブーの花モデルに付随するディリクレ級数は明示的に計算され、定常測度および語出現統計と関連づけられる。
• 本稿では、最小コンテキストに基づく非可約性条件が、すべてのVLMCに一般化可能であると予想し、定常測度の存在に関する普遍的基準を示唆する。