[論文レビュー] Constructions for Clumps Statistics

Frédérique Bassino, Julien Clément+2 more|ArXiv.org|Apr 23, 2008

semigroups and automata theory参考文献 13被引用数 5

ひとこと要約

本稿では、ベルヌーイおよびマルコフモデルにおけるクラム（単語の最大重複出現群）の統計を正確に分析するための組合せ的枠組みを提示する。リューニエ＝シュパンコウスキー言語分解と有限オートマトンを用い、クラム統計の正確な母関数を導出する。主な貢献は、クラム数に対する正規極限定理と、クラム数、サイズ、カバレッジに関する正確な有理母関数の導出であり、漸近的近似が失敗する短いシーケンスに対しても正確な結果を提供する。

ABSTRACT

We consider a component of the word statistics known as clump; starting from a finite set of words, clumps are maximal overlapping sets of these occurrences. This parameter has first been studied by Schbath with the aim of counting the number of occurrences of words in random texts. Later work with similar probabilistic approach used the Chen-Stein approximation for a compound Poisson distribution, where the number of clumps follows a law close to Poisson. Presently there is no combinatorial counterpart to this approach, and we fill the gap here. We emphasize the fact that, in contrast with the probabilistic approach which only provides asymptotic results, the combinatorial approach provides exact results that are useful when considering short sequences.

研究の動機と目的

• 語の出現におけるクラム統計について、確率的漸近的手法と組合せ的正確解析の間のギャップを埋めること。
• 有限および無限のテキストにおけるクラム関連統計（クラム数、k-クラム、カバレッジ、クラムサイズ）の正確な母関数を提供すること。
• 分析をマルコフモデルに拡張し、クラム数に対する極限定理（特に正規極限定理）を導出すること。
• クラムを認識する決定的有限オートマトン（DFA）を用いたアルゴリズム的構成を検討し、正確な計算を可能にすること。
• 正規表現のクラムへのフレームワークの拡張可能性を検討し、スターオーダーの制限により、有限の語集合と接頭辞コードでは実現不可能である点を指摘すること。

提案手法

• 言語のリューニエ＝シュパンコウスキー分解を用い、重複する語の出現をモデル化し、クラムを重複出現の最大クラスタとして定義する。
• クラムを認識する決定的有限オートマトン（DFA）を構築し、状態が新たなクラムの開始を示し、遷移が語の重複を符号化する。
• オートマトンに基づく転送行列を用い、クラム数、k-クラム、被カバー位置、クラムサイズといった主要統計の明示的な有理母関数を導出する。
• ペロン＝フロベニウス理論とコーシー積分法を適用し、大規模テキストにおけるクラム数の正規極限定理を確立する。
• 母関数のテイラー展開とラウゼの定理を用い、レアワードの挙動を分析し、クラム数に対してポアソン型の極限定理を得る。
• スターオーダー定理を用いて、一般化が語集合と接頭辞コードを用いた有限表現では不可能であると主張する。

実験結果

リサーチクエスチョン

• RQ1 ランダムテキストにおけるクラム統計（クラム数、k-クラム、被カバー位置）について、正確な組合せ的母関数を導出可能か？
• RQ2 ベルヌーイおよびマルコフモデル下で、有限および無限のテキストにおけるクラム統計はどのように振る舞うか？
• RQ3 オートマトンに基づく手法を用いて、大規模テキストにおけるクラム数に対する正規極限定理を厳密に確立できるか？
• RQ4 稀な語に対してクラム数の漸近的挙動はどのようなものか？ポアソン型分布に従うか？
• RQ5 有限オートマトンと接頭辞コードを用いて、クラムフレームワークを正規表現へ拡張することは可能か？

主な発見

• ベルヌーイモデルにおいて、クラム数、k-クラム、被カバー位置、クラムサイズの正確な有理母関数が導出され、短いテキストに対しても正確な計算が可能になる。
• オートマトンの遷移行列のペロン＝フロベニウス解析から、サイズnのテキストにおけるクラム数に対する正規極限定理が確立される。
• レアワード（サイズ > log n / log(1/q)）に対しては、クラム数がポアソン型の極限定理に従い、母関数の主要極が漸近的挙動を決定する。
• 無限テキストにおけるクラムのサイズは、幾何確率変数の和として分布することが示され、オートマトン構造を用いて母関数が導出される。
• フレームワークはマルコフモデルへ拡張され、クラム数に対する正規極限定理の有効性が保たれる。
• スターオーダー定理により、正規表現への一般化は不可能であると示され、語集合と接頭辞コードによる有限表現は不可能である。