[论文解读] Forbidden Information

Leonid A. Levin|arXiv (Cornell University)|Mar 27, 2002

Computability, Logic, AI Algorithms被引用 7

一句话总结

本文证明，任何递归可枚举的通用部分递归谓词（如皮亚诺算术）的扩展，要么无法解决一个n比特输入命题，要么必须包含关于任意递归可枚举实数ρ的n比特前缀的几乎所有信息。关键结果表明，任何物理可实现的过程——无论是确定性的还是随机的——都无法生成关于特定数学序列的显著信息，从而通过柯尔莫哥洛夫复杂度和信息守恒原理，关闭了哥德尔不完备性定理中的一个漏洞。

ABSTRACT

Goedel Incompleteness Theorem leaves open a way around it, vaguely perceived for a long time but not clearly identified. (Thus, Goedel believed informal arguments can answer any math question.) Closing this loophole does not seem obvious and involves Kolmogorov complexity. (This is unrelated to, well studied before, complexity quantifications of the usual Goedel effects.) I consider extensions U of the universal partial recursive predicate (or, say, Peano Arithmetic). I prove that any U either leaves an n-bit input (statement) unresolved or contains nearly all information about the n-bit prefix of any r.e. real r (which is n bits for some r). I argue that creating significant information about a SPECIFIC math sequence is impossible regardless of the methods used. Similar problems and answers apply to other unsolvability results for tasks allowing multiple solutions, e.g. non-recursive tilings.

研究动机与目标

• 为关闭哥德尔不完备性定理中长期存在的漏洞，即非形式化或非算法手段仍可能解决不可判定命题的问题。
• 证明不仅通过递归方法，而且通过任何物理可实现的过程，都无法实现皮亚诺算术等形式系统的一致完成。
• 确立任何确定性或随机过程都无法增加数学序列与形式系统扩展之间的互信息。
• 形式化并支持‘独立性假说’（IP），该假说限制了从物理过程可提取的关于数学真理的信息量。
• 证明无法生成关于特定数学序列的新信息，是算法信息论中守恒定律的直接结果。

提出的方法

• 使用柯尔莫哥洛夫复杂度和互信息分析通用部分递归谓词扩展的信息内容。
• 应用守恒不等式：任何确定性或随机过程都无法增加序列与其描述之间的互信息。
• 构造一个特定的递归可枚举实数ρ，使得任何通用p.r.p.的总扩展都必须包含关于ρ的n比特前缀的几乎所有信息。
• 应用独立性假说（IP）：数学定义的序列X与物理可访问序列Y之间的互信息受k + n + c的限制，其中k是Y的描述长度，n是X的命题长度。
• 使用概率论论证表明，随机算法仅以指数级小的概率能够计算出通用p.r.p.在n比特输入上的总扩展。
• 利用算法随机性和非递归平铺（如Durand, Levin, Shen 01）的结果，强化关于信息守恒的论证。

实验结果

研究问题

• RQ1 任何物理可实现的过程——无论是确定性的还是随机的——能否生成关于特定递归可枚举实数的n比特前缀的显著信息？
• RQ2 是否可能通过非递归、非算法手段（如非形式化推理或物理过程）一致地完成皮亚诺算术？
• RQ3 独立性假说（IP）是否作为数学真理与物理系统之间信息传递的根本约束而成立？
• RQ4 在确定性和随机过程中，互信息的守恒是否能排除生成关于不可判定数学序列新信息的可能性？
• RQ5 非递归平铺及类似结构在多大程度上体现了与形式系统相同的基于信息论的限制？

主要发现

• 任何通用部分递归谓词的递归可枚举扩展，要么无法解决n比特输入命题，要么必须包含关于任意递归可枚举实数ρ的n比特前缀的几乎所有信息。
• 随机算法在n比特输入上计算出通用p.r.p.的总扩展的概率至多为O(2^(-n)) / m(K(n)|n)，该概率呈指数级小。
• 由于算法信息论中的守恒定律，任何物理可实现的过程都无法增加数学序列与形式系统扩展之间的互信息。
• 独立性假说（IP）意味着数学定义的序列X与物理可访问序列Y之间的互信息受k + n + c的限制，其中k是Y的描述长度，n是X的命题长度。
• 无法生成关于特定数学序列的新信息，不仅限于算法限制，更是物理现实的根本约束，由守恒不等式所支持。
• 该结果通过证明即使非递归或非形式化手段也无法解决皮亚诺算术等形式系统中的不可判定命题，从而关闭了哥德尔不完备性定理中长期存在的漏洞。