[論文レビュー] Regular Language Distance and Entropy

Austin J. Parker, Kelly B. Yancey+1 more|arXiv (Cornell University)|Feb 19, 2016

Computability, Logic, AI Algorithms参考文献 13被引用数 4

ひとこと要約

本稿では、Cesároに基づくジャカード距離と、常に存在する新しい極限に基づくエントロピー定式化を導入することで、正則言語のための画期的で明確に定義された距離尺度を提案する。このエントロピー定式化がシャノンのエントロピーおよびトポロジカルエントロピーと等価であることを証明し、細分化可能な性質を示す疑似距離としてのエントロピー和距離尺度を導入することで、無限正則言語における従来のジャカード距離の問題を解決する。

ABSTRACT

This paper addresses the problem of determining the distance between two regular languages. It will show how to expand Jaccard distance, which works on finite sets, to potentially-infinite regular languages. The entropy of a regular language plays a large role in the extension. Much of the paper is spent investigating the entropy of a regular language. This includes addressing issues that have required previous authors to rely on the upper limit of Shannon's traditional formulation of entropy, because its limit does not always exist. The paper also includes proposing a new limit based formulation for the entropy of a regular language and proves that formulation to both exist and be equivalent to Shannon's original formulation (when it exists). Additionally, the proposed formulation is shown to equal an analogous but formally quite different notion of topological entropy from Symbolic Dynamics -- consequently also showing Shannon's original formulation to be equivalent to topological entropy. Surprisingly, the natural Jaccard-like entropy distance is trivial in most cases. Instead, the {\it entropy sum} distance metric is suggested, and shown to be granular in certain situations.

研究の動機と目的

• 正則言語における古典的ジャカード距離の根本的欠陥を解消すること。具体的には、特定の長さにおける文字列数の振動により、極限が存在しない場合があること。
• 常に存在する、計算可能な正則言語のための明確なエントロピー定式化を構築すること。シャノンの元来の極限の収束しない問題を克服する。
• 数学的に整合性があり、特定の条件下で細分化可能な性質を示す新しい距離尺度「エントロピー和距離」を確立すること。
• 情報理論（シャノンエントロピー）と記号的力学（トポロジカルエントロピー）の概念を統合すること。正則言語の文脈において、両者の等価性を証明する。
• バイオインフォマティクス、ネットワーク防御、パターンマッチングなどの応用分野において、正則言語間の類似度を測る強固なフレームワークを提供すること。

提案手法

• ジャカード距離の長さ増加に伴う振動を平滑化するために、Cesáro平均を導入し、収束を保証する。
• 新しいエントロピー定式化を次のように定義する：$ \lim_{n\to\infty} \frac{\log|W_{\leq n}(L)|}{n} $、ここで $ W_{\leq n}(L) $ は $ L $ に属する長さが $ n $ 以下のすべての文字列の集合である。
• この新しいエントロピー定式化が常に存在することを証明し、極限が存在する場合にはシャノンの元来のエントロピーと等価であり、記号的力学からのトポロジカルエントロピーとも等価であることを示す。
• エントロピー和距離 $ H_S(L_1, L_2) = h(L_1 \cap \overline{L_2}) + h(\overline{L_1} \cap L_2) $ を定義する。ここで $ h $ は新しいエントロピー定式化である。
• 決定的有限オートマトン（DFAs）を用いて、エントロピーおよび距離尺度をアルゴリズム的に計算する。
• 理論を応用し、エントロピー和距離が疑似距離であることを示し、両方の対称差に正のエントロピーがある場合に細分化可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 無限正則言語に、常に存在し計算可能なジャカードに類似した距離を拡張することは可能か？
• RQ2 シャノンの元来の定式化の収束しない問題を回避する、極限に基づく正則言語のエントロピー定式化は存在するか？
• RQ3 提案されたエントロピー定式化は、記号的力学からのトポロジカルエントロピーと等価か？
• RQ4 数学的に整合性があり、実用的状況でも細分化可能なエントロピーに基づく距離尺度を構築できるか？
• RQ5 自然なジャカードに基づくエントロピー距離が、大多数のケースで細分化不能（0または1）となる理由は何か？そして、これを解決する代替距離尺度は何か？

主な発見

• 提案されたエントロピー定式化 $ \lim_{n\to\infty} \frac{\log|W_{\leq n}(L)|}{n} $ は、任意の正則言語に対して常に存在し、有限である。これは、従来の手法の主要な制限を解消する。
• この新しいエントロピー定式化は、極限が存在する場合にはシャノンの元来のエントロピーと等価であり、記号的力学からのトポロジカルエントロピーとも等価であることが証明された。
• 自然なジャカードに類似たエントロピー距離は、大多数のケースで自明（0または1）であることが示され、言語の区別に実用的でないことが判明した。
• エントロピー和距離 $ H_S(L_1, L_2) $ は、疑似距離であることが証明され、両方の $ h(L_1 \cap \overline{L_2}) > 0 $ および $ h(\overline{L_1} \cap L_2) > 0 $ を満たす場合に、意味的な分離を示す細分化可能な性質を示す。
• Cesároジャカード距離は、DFAsから計算可能であり、古典的な極限に基づくジャカード距離の代替として安定であることが証明された。
• 本稿では、先行研究で用いられた上界のエントロピー定式化が正しいことを確立し、その理論的基盤を提供した。