[論文レビュー] Ergodicity of Random Walks on Random DFA

Borja Balle|arXiv (Cornell University)|Nov 26, 2013

semigroups and automata theory参考文献 14被引用数 3

ひとこと要約

この論文は、一様にランダムに生成された決定的有限オートマトン（DFA）上のランダムウォークが、ほとんど確実にエルゴードなマルコフ連鎖を誘導することを示している。これは、状態分布が一意の定常分布に収束することを意味する。この結果は、DFAを一様にランダムにサンプリングした場合に高い確率で成り立ち、最小化によっても保たれる。これは、典型的なDFAに学習を容易にする構造的規則性が存在することを示唆している。

ABSTRACT

Given a DFA we consider the random walk that starts at the initial state and at each time step moves to a new state by taking a random transition from the current state. This paper shows that for typical DFA this random walk induces an ergodic Markov chain. The notion of typical DFA is formalized by showing that ergodicity holds with high probability when a DFA is sampled uniformly at random from the set of all automata with a fixed number of states. We also show the same result applies to DFA obtained by minimizing typical DFA.

研究の動機と目的

• 一様にランダムにサンプリングされた典型的なDFAが、最悪ケースの境界値よりも学習しやすい構造的規則性を示すかどうかを調査すること。
• ランダムDFA上のランダムウォークの挙動を分析し、それがエルゴードなマルコフ連鎖を誘導するかどうかを特定すること。
• 最小化されたランダムに生成されたDFAにおいて、エルゴード性が保たれるかどうかを検討すること。これは、最小化が言語を保存するため、学習にとって重要である。
• ランダムDFAの構造に関する基礎的洞察を提供すること。これは、ランダムグラフと比較して、これまでの研究が限られていた分野である。

提案手法

• 著者たちは、DFA上のランダムウォークを、初期状態から出発し、各ステップで一様にランダムな遷移を行う確率過程としてモデル化する。
• このウォークによって誘導されるマルコフ連鎖を分析し、通信クラスと再帰性の性質に注目してエルゴード性を確立する。
• 確率的議論を用いて、一様にランダムなDFAが、高確率で周期的でなく、不可約な単一の閉じた通信クラスを持つことを示す。これにより、エルゴード性が保証される。
• マージ操作が閉じた通信クラスの不可約性と周期性の不在を保つことにより、DFAの状態最小化の下でもエルゴード性が保たれることを証明する。
• 構造的性質としての通信クラス、再帰性、および状態マージにおける周期性と不可約性の不変性に依拠した分析である。

実験結果

リサーチクエスチョン

• RQ1 一様にランダムなDFA上のランダムウォークは、一意の定常分布に収束するか？
• RQ2 ランダムDFAのどのような構造的性質が、そのランダムウォークのエルゴード性を保証するか？
• RQ3 最小化された基盤となるDFAにおいて、ランダムウォークのエルゴード性は保たれるか？
• RQ4 ランダムDFAの通信クラスと再帰性の性質は、ランダムウォークの混合挙動にどのように影響するか？

主な発見

• 高確率で、一様にランダムなDFA上のランダムウォークは一意の定常分布に収束し、エルゴード性を示している。
• 典型的なランダムDFAにおける閉じた通信クラスは、不可約かつ非周期的であり、これらはエルゴード性の必要十分条件である。
• DFAの最小化の下でもエルゴード性が保たれ、最小化されたオートマトン上でもランダムウォークはエルゴードなマルコフ連鎖を誘導する。
• これらの結果は、典型的なDFAにおいて一様にサンプリングされた文字列が到達する状態の分布が、良好に振る舞い、定常分布に収束することを示唆している。