[論文レビュー] Context Tree Selection: A Unifying View

Aurélien Garivier, Florencia Leonardi|arXiv (Cornell University)|Nov 10, 2010

Algorithms and Data Compression参考文献 16被引用数 4

ひとこと要約

本稿では、リッサネンのアルゴリズムContextとペナルティ付き最尤推定（PML）の2つの文脈木推定手法について、統一的な非漸近的解析を提示する。両推定量が、有界性や消失記憶条件を仮定せずに、真の文脈木 $T_0$ の部分木であることをほぼ確実に示した。主な貢献は、マルティンゲール技法を用いて導出した新しい自己正規化型の乖離不等式であり、これにより、先行研究より一般性の高い有限時間枠での過小・過大推定確率の上限が得られた。

ABSTRACT

The present paper investigates non-asymptotic properties of two popular procedures of context tree (or Variable Length Markov Chains) estimation: Rissanen's algorithm Context and the Penalized Maximum Likelihood criterion. First showing how they are related, we prove finite horizon bounds for the probability of over- and under-estimation. Concerning overestimation, no boundedness or loss-of-memory conditions are required: the proof relies on new deviation inequalities for empirical probabilities of independent interest. The underestimation properties rely on loss-of-memory and separation conditions of the process. These results improve and generalize the bounds obtained previously. Context tree models have been introduced by Rissanen as a parsimonious generalization of Markov models. Since then, they have been widely used in applied probability and statistics.

研究の動機と目的

• リッサネンのアルゴリズムContextとペナルティ付き最尤推定（PML）という2つの主要な文脈木推定手順の分析を統一すること。
• 有界記憶や消失記憶仮定を必要としない、有限時間枠における過小・過大推定の確率に関する非漸近的上限を確立すること。
• マルティンゲール技法を用いて、Empirical probabilities に対する新しい自己正規化型の乖離不等式を導出し、文脈木推定を越えて応用可能なものを得ること。
• 適切なパrameter選択のもとで、PML推定量が常にアルゴリズムContext推定量以下であることを示すこと。
• 過大推定の上限において、従来の制限的な混合条件や非ゼロ性条件を排除することで、先行研究を改善すること。

提案手法

• ラウンド・イテレート・ロジカールの法則にインspiredされたマルティンゲールに基づく技法を用いて、Empirical probabilities に対する新しい自己正規化型の乖離不等式を導出する。
• これらの不等式を用いて、真の過程に有界性や消失記憶条件がなくても、過大推定の確率を制限する。
• PML推定量が適切なパrameter選択のもとで、常にアルゴリズムContext推定量以下であるという支配関係を確立する。
• ピンスカーの不等式と集中不等式を用いて、古典的な混合条件のもとで、過小推定の確率に対する上界を導出する。
• 弱依存仮定（仮定1）と係数 $\alpha_0$, $\beta_k$ を用いて、Empirical推定量の尾部挙動を制御する。
• 文脈木の構造とノード固有のEmpirical頻度を用いて、木の各レベルにおける推定誤差を分析する。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、アルゴリズムContextとPML推定量の過大推定確率はどのように比較できるか？
• RQ2 真の過程の有界記憶性や消失記憶性を仮定せずに、過大推定を制御できるか？
• RQ3 PML推定量とアルゴリズムContext推定量の間には、モデルサイズや構造の面でどのような関係があるか？
• RQ4 無限記憶を持つ過程に対して、文脈木選択における過小推定の確率をどのような条件下で制限できるか？
• RQ5 弱依存設定におけるEmpiricalプロセスに適用可能な、自己正規化型で新しい乖離不等式を導出できるか？

主な発見

• 適切なパrameter選択のもとで、PML推定量は常にアルゴリズムContext推定量以下であり、両手法間の支配関係が確立された。
• 一般条件のもとで、両推定量が真の文脈木 $T_0$ の部分木であることはほぼ確実であり、過大推定の制御に有界性や消失記憶仮定を必要としない。
• 本稿では、先行研究を改善する新しい自己正規化型の乖離不等式を導出し、弱依存過程の広いクラスに適用可能である。
• 過大推定の確率は、遷移確率の下限が0から離れていることを仮定せず、上限が得られた。
• 古典的な混合条件のもとで、過小推定の確率は指数的に小さく抑えられ、その上限は遷移確率の二乗差と文脈長に依存する。
• 導出された上限は、[12, 17, 18, 22] の先行研究を一般化・精緻化し、文脈木推定の漸近的および非漸近的解析の両面で、より優れた結果をもたらした。