[논문 리뷰] A New Approach to Formal Language Theory by Kolmogorov Complexity

Ming Li, Paul Vitányi|ArXiv.org|2001. 10. 18.

Computability, Logic, AI Algorithms인용 수 3

한 줄 요약

이 논문은 쿠로모고로프 복잡도를 사용하여 형식 언어 이론의 새로운 프레임워크를 제안한다. 기존의 펌핑 레미마 대신 압축 불가능성 논증을 사용하며, 정규 언어의 새로운 특성화와 결정성과 비결정성 문맥 자유 언어를 분리하는 강력하고 적용하기 쉬운 기준을 제공한다. 이 기법은 복잡도 한계를 통해 비재귀 언어로까지 응용 가능하다.

ABSTRACT

We present a new approach to formal language theory using Kolmogorov complexity. The main results presented here are an alternative for pumping lemma(s), a new characterization for regular languages, and a new method to separate deterministic context-free languages and nondeterministic context-free languages. The use of the new `incompressibility arguments' is illustrated by many examples. The approach is also successful at the high end of the Chomsky hierarchy since one can quantify nonrecursiveness in terms of Kolmogorov complexity. (This is a preliminary uncorrected version. The final version is the one published in SIAM J. Comput., 24:2(1995), 398-410.)

연구 동기 및 목표

• 쿠로모고로프 복잡도를 사용하여 형식 언어에서 비정규성을 증명하는 데 더 직관적이고 강력한 새로운 방법을 개발하기.
• 복잡하고 특수한 목적의 펌핑 레미마를 통합된 압축 불가능성 기반의 정규 언어 특성화로 대체하기.
• 결정성과 비결정성 문맥 자유 언어를 구분하는 단순하고 일반적인 기준을 제공하기.
• 쿠로모고로프 복잡도의 적용 범위를 비재귀 언어 및 재귀적으로 결정 가능한 언어를 포함한 체옴스키 계층의 높은 수준으로 확장하기.
• 기존 방법이 실패하거나 복잡해지는 경우에도 압축 불가능성 논증이 간결하고 효과적인 증명을 가능하게 함을 보여주기.

제안 방법

• 대부분의 문자열, 즉 높은 쿠로모고로프 복잡도를 가진 문자열의 압축 불가능성을 증명 기법으로 사용하여 언어 복잡도의 하한을 유도하기.
• 언어가 정규 언어일 조건과 오직 그 조건일 때만, 그 특성 시퀀스의 길이 $ n $ 부분문자열의 쿠로모고로프 복잡도가 $ O(\log n) $ 임을 정의함으로써 새로운 특성화를 제공하기.
• KC-DCFL 레미마를 적용하여 언어가 결정성 문맥 자유 언어일 조건을 부분문자열 복잡도 한계 기반으로 정의하기.
• 문자열이 압축 불가능하면 압축이 불가능하다는 사실을 이용하여, 언어가 특정 복잡도 계열에 속한다고 가정했을 때 모순을 이끌어내기.
• 기존의 모든 문자열을 고려하는 카운팅 추론 방식을 피하기 위해 증명에서 개별적인 압축 불가능한 문자열을 증거로 사용하기.
• 특성 시퀀스의 복잡도를 분석하기 위해 접두사 복잡도 $ K $ 와 일반 복잡도 $ C $ 를 사용하며, 특히 재귀적이고 비재귀적인 실수의 맥락에서 분석하기.

실험 결과

연구 질문

• RQ1 쿠로모고로프 복잡도는 비정규성을 증명하기 위한 펌핑 레미마의 더 일반적이고 직관적인 대안이 될 수 있는가?
• RQ2 모든 알려진 펌핑 레미마를 포함하는, 쿠로모고로프 복잡도에 기반한 정규 언어의 단일 통합 특성화가 존재하는가?
• RQ3 기존 방법이 번거로운 경우에도 압축 불가능성 논증이 결정성과 비결정성 문맥 자유 언어를 효과적으로 분리할 수 있는가?
• RQ4 쿠로모고로프 복잡도를 사용하여 체옴스키 계층의 정점에 위치한 비재귀 언어의 비재귀성을 정량화할 수 있는가?
• RQ5 언어가 결정성 문맥 자유 언어일 조건이 되는 필수 복잡도 조건은 무엇이며, 이를 실제적으로 어떻게 적용할 수 있는가?

주요 결과

• 논문은 정규 언어의 새로운 특성화를 확립한다: 언어가 정규 언어일 조건과 오직 그 조건일 때만, 그 특성 시퀀스의 길이 $ n $ 부분문자열의 쿠로모고로프 복잡도가 $ O(\log n) $ 임을 보였다.
• KC-DCFL 레미마는 언어가 결정성 문맥 자유 언어일 조건을 부분문자열 복잡도 한계 기반으로 제공하며, 기존 방법이 실패하는 언어 분리에 효과적임을 입증했다.
• 이 방법은 특수 목적의 펌핑 레미마가 필요한 비정규 언어의 예를 성공적으로 다루었으며, 이는 이전 기법보다 더 넓은 적용 범위를 가짐을 보여주었다.
• 논문은 무한한 이진 시퀀스 $ \omega $ 중에서 모든 $ n $ 에 대해 $ C(\omega_{1:n}) \leq \log n + c $ 를 만족하는 것은 유한 개 뿐임을 증명하였으며, 이는 이러한 시퀀스가 희귀하며 복잡도 계열을 특성화하는 데 사용될 수 있음을 의미한다.
• 재귀 언어의 경우 논문은 기존의 특성화를 제공하였고, 재귀적으로 결정 가능한 언어의 경우 쿠로모고로프 복잡도 기반의 필요 조건을 제시하였다.
• Claim 1의 증명은 재귀성을 가정하지 않더라도, 모든 $ n $ 에 대해 $ C(\omega_{1:n}) \leq \log n + c $ 를 만족하는 시퀀스의 집합이 유한함을 보였으며, 복잡도 한계와 문자열 복원 기법만을 사용하였다.