[논문 리뷰] Regular Language Distance and Entropy

Austin J. Parker, Kelly B. Yancey외 1명|arXiv (Cornell University)|2016. 02. 19.

Computability, Logic, AI Algorithms참고 문헌 13인용 수 4

한 줄 요약

이 논문은 코시에로 기반 Jaccard 거리와 항상 존재하는 극한 기반 엔트로피 공식화를 도입하여 정규 언어에 대한 새로운 명확한 거리 척도를 제안한다. 이 엔트로피 공식화가 샤논 엔트로피 및 위상적 엔트로피와 동치임을 증명하고, 입자 수준의 거리 척도인 엔트로피 합 거리 척도를 도입하여 기존의 Jaccard 거리가 무한 정규 언어에서 야기하는 문제를 해결한다.

ABSTRACT

This paper addresses the problem of determining the distance between two regular languages. It will show how to expand Jaccard distance, which works on finite sets, to potentially-infinite regular languages. The entropy of a regular language plays a large role in the extension. Much of the paper is spent investigating the entropy of a regular language. This includes addressing issues that have required previous authors to rely on the upper limit of Shannon's traditional formulation of entropy, because its limit does not always exist. The paper also includes proposing a new limit based formulation for the entropy of a regular language and proves that formulation to both exist and be equivalent to Shannon's original formulation (when it exists). Additionally, the proposed formulation is shown to equal an analogous but formally quite different notion of topological entropy from Symbolic Dynamics -- consequently also showing Shannon's original formulation to be equivalent to topological entropy. Surprisingly, the natural Jaccard-like entropy distance is trivial in most cases. Instead, the {\it entropy sum} distance metric is suggested, and shown to be granular in certain situations.

연구 동기 및 목표

• 정규 언어에 대한 고전적 Jaccard 거리의 근본적 결함을 해결하기 위해, 특정 길이에서 문자열 수의 진동으로 인해 극한이 존재하지 않을 수 있는 문제를 해결한다.
• 항상 존재하는, 계산 가능한 정규 언어에 대한 명확한 엔트로피 공식화를 개발하여 샤논의 원래 극한의 수렴 불가 문제를 극복한다.
• 수학적으로 타당하고 특정 조건 하에서 세밀한 성질을 가지는 새로운 거리 척도인 엔트로피 합 거리 척도를 수립한다.
• 정보 이론(샤논 엔트로피)과 기호 동역학(위상적 엔트로피)의 개념을 정규 언어의 맥락에서 동치임을 증명함으로써 통합한다.
• 생물정보학, 네트워크 방어, 패턴 매칭 등의 분야에서 정규 언어 간 유사도 측정을 위한 견고한 프레임워크를 제공한다.

제안 방법

• 증가하는 문자열 길이에 걸쳐 Jaccard 거리의 진동을 완화하기 위해 코시에로 평균을 도입하여 수렴을 보장한다.
• 새로운 엔트로피 공식화를 정의한다: $ \lim_{n\to\infty} \frac{\log|W_{\leq n}(L)|}{n} $, 여기서 $ W_{\leq n}(L) $ 는 언어 $ L $ 내 길이가 $ n $ 이하인 모든 문자열의 집합이다.
• 이 새로운 엔트로피 공식화가 항상 존재하며, 극한이 존재할 경우 샤논의 원래 엔트로피와 동치이며, 기호 동역학에서의 위상적 엔트로피와도 동치임을 증명한다.
• 엔트로피 합 거리 $ H_S(L_1, L_2) = h(L_1 \cap \overline{L_2}) + h(\overline{L_1} \cap L_2) $ 를 정의하며, 여기서 $ h $ 는 새로운 엔트로피 공식화이다.
• 결정적 유한 상태 기계(DFAs)를 사용하여 엔트로피 및 거리 척도를 알고리즘적으로 계산한다.
• 이론을 적용하여 엔트로피 합 거리가 의사거리 척도임을 증명하고, 양측 대칭 차이의 엔트로피가 양수일 경우에만 세밀한 성질을 가짐을 보인다.

실험 결과

연구 질문

• RQ1 무한 정규 언어에 대해 항상 존재하고 계산 가능한 방식으로 확장된 Jaccard 유사 거리 척도를 제안할 수 있는가?
• RQ2 샤논의 원래 공식화에서 수렴하지 않는 문제를 피할 수 있는 극한 기반 정규 언어 엔트로피 공식화가 존재하는가?
• RQ3 제안된 엔트로피 공식화가 기호 동역학에서의 위상적 엔트로피와 동치인가?
• RQ4 수학적으로 타당하고 실용적 사례에서 세밀한 성질을 가지는 엔트로피 기반 거리 척도를 구성할 수 있는가?
• RQ5 자연스러운 Jaccard 기반 엔트로피 거리 척도가 대부분의 경우에 세밀하지 않은 이유는 무엇이며, 이를 해결하는 대안적 척도는 무엇인가?

주요 결과

• 제안된 엔트로피 공식화 $ \lim_{n\to\infty} \frac{\log|W_{\leq n}(L)|}{n} $ 는 어떤 정규 언어에 대해서도 항상 존재하고 유한함을 입증하여 이전 접근 방식의 핵심 한계를 해결한다.
• 이 새로운 엔트로피 공식화는 극한이 존재할 경우 샤논의 원래 엔트로피와 동치이며, 기호 동역학에서의 위상적 엔트로피와도 동치임을 증명한다.
• 자연스러운 Jaccard 유사 엔트로피 거리 척도는 대부분의 경우에 자명하게(0 또는 1) 되며, 언어를 구분하는 데 실용적이지 않음을 입증한다.
• 엔트로피 합 거리 $ H_S(L_1, L_2) $ 는 의사거리 척도임이 증명되었으며, $ h(L_1 \cap \overline{L_2}) > 0 $ 과 $ h(\overline{L_1} \cap L_2) > 0 $ 인 경우 의미 있는 분리 성질을 보임을 나타낸다.
• 코시에로 Jaccard 거리는 DFA에서 계산 가능하고 잘 정의된 것으로 입증되었으며, 고전적 극한 기반 Jaccard 거리에 대한 안정적인 대안을 제공한다.
• 이 논문은 이전 연구에서 사용된 상한 극한 기반 엔트로피 공식화가 올바르며, 그 사용에 대한 이론적 기반을 확립한다.