[论文解读] A New Approach to Formal Language Theory by Kolmogorov Complexity

Ming Li, Paul Vitányi|ArXiv.org|Oct 18, 2001

Computability, Logic, AI Algorithms被引用 3

一句话总结

本文提出了一种基于柯尔莫哥洛夫复杂度的形式语言理论新框架，用不可压缩性论证替代传统的泵送引理。它提供了正则语言的新表征方式，并提出一种强大且易于应用的标准，用于区分确定性与非确定性上下文无关语言，其应用还可扩展至非递归语言，通过复杂度界实现。

ABSTRACT

We present a new approach to formal language theory using Kolmogorov complexity. The main results presented here are an alternative for pumping lemma(s), a new characterization for regular languages, and a new method to separate deterministic context-free languages and nondeterministic context-free languages. The use of the new `incompressibility arguments' is illustrated by many examples. The approach is also successful at the high end of the Chomsky hierarchy since one can quantify nonrecursiveness in terms of Kolmogorov complexity. (This is a preliminary uncorrected version. The final version is the one published in SIAM J. Comput., 24:2(1995), 398-410.)

研究动机与目标

• 开发一种新的、更直观且更强大的方法，利用柯尔莫哥洛夫复杂度证明形式语言中的非正则性。
• 用统一的基于不可压缩性的正则语言表征方式，替代复杂且临时的泵送引理。
• 提供一个简单、通用的判别标准，用于区分确定性与非确定性上下文无关语言。
• 将柯尔莫哥洛夫复杂度的应用扩展到乔姆斯基层级的更高级别，包括非递归语言和递归可枚举语言。
• 证明不可压缩性论证可在传统方法失效或变得繁琐时，产生简洁而有效的证明。

提出的方法

• 利用大多数字符串的不可压缩性——即具有高柯尔莫哥洛夫复杂度——作为推导语言复杂度下界的一种证明技术。
• 定义一个语言为正则语言，当且仅当其特征序列的前缀长度 $ n $ 的柯尔莫哥洛夫复杂度为 $ O(\log n) $，从而提供一种新表征。
• 应用 KC-DCFL 引理，该引理基于前缀复杂度界，为语言是确定性上下文无关语言提供必要条件。
• 利用字符串若不可压缩则无法被压缩的事实，在假设语言属于某一复杂度类时导出矛盾。
• 在证明中构造特定的不可压缩字符串作为反例，避免了经典计数论证中需考虑所有字符串的需要。
• 使用前缀复杂度 $ K $ 和普通复杂度 $ C $ 分析语言特征序列的复杂度，特别是在递归与非递归实数的背景下。

实验结果

研究问题

• RQ1 柯尔莫哥洛夫复杂度能否为证明非正则性提供比泵送引理更通用且更直观的替代方法？
• RQ2 是否存在一个基于柯尔莫哥洛夫复杂度的单一、统一的正则语言表征方式，能涵盖所有已知的泵送引理？
• RQ3 不可压缩性论证能否有效区分确定性与非确定性上下文无关语言，而传统方法则显得繁琐？
• RQ4 柯尔莫哥洛夫复杂度能否用于量化乔姆斯基层级顶端的非递归形式语言的非递归性？
• RQ5 语言为确定性上下文无关语言的必要复杂度条件是什么？这些条件如何实际应用？

主要发现

• 本文建立了正则语言的新表征：一个语言是正则语言，当且仅当其特征序列的长度 $ n $ 前缀的柯尔莫哥洛夫复杂度为 $ O(\log n) $。
• KC-DCFL 引理为语言是确定性上下文无关语言提供了必要条件，基于其前缀的复杂度，且在传统方法失效时仍能有效分离语言。
• 该方法成功处理了需要特殊用途泵送引理的非正则语言示例，表明其适用范围广于现有技术。
• 本文证明，仅存在有限多个无限二进制序列 $ \omega $，使得对所有 $ n $ 都有 $ C(\omega_{1:n}) \leq \log n + c $，这意味着此类序列极为稀少，可用来表征复杂度类。
• 对于递归语言，本文给出了已知的表征；对于递归可枚举语言，本文基于柯尔莫哥洛夫复杂度提供了必要条件。
• 引理1的证明表明，即使不假设递归性，仅通过复杂度界和字符串重构，也能证明满足对所有 $ n $ 都有 $ C(\omega_{1:n}) \leq \log n + c $ 的序列集合是有限的。