[论文解读] From Philosophy to Program Size

Gregory J. Chaitin|ArXiv.org|Mar 27, 2003

Computability, Logic, AI Algorithms参考文献 3被引用 16

一句话总结

本文將算法信息论（AIT）作為哲學框架，探討數學推理與知識的極限，利用程式大小複雜度證明某些數學真理是不可簡化的，僅因偶然而為真。透過停機機率Ω建立不完備性，顯示形式系統無法證明某些對象的複雜度，從而支持數學的准經驗觀點，其中隨機性與不可簡化性為基本特徵。

ABSTRACT

Most work on computational complexity is concerned with time. However this course will try to show that program-size complexity, which measures algorithmic information, is of much greater philosophical significance. I'll discuss how one can use this complexity measure to study what can and cannot be achieved by formal axiomatic mathematical theories. In particular, I'll show (a) that there are natural information-theoretic constraints on formal axiomatic theories, and that program-size complexity provides an alternative path to incompleteness from the one originally used by Kurt Godel. Furthermore, I'll show (b) that in pure mathematics there are mathematical facts that are true for no reason, that are true by accident. These have to do with determining the successive binary digits of the precise numerical value of the halting probability Omega for a "self-delimiting" universal Turing machine. I believe that these meta-theorems (a,b) showing (a) that the complexity of axiomatic theories can be characterized information-theoretically and (b) that God plays dice in pure mathematics, both strongly suggest a quasi-empirical view of mathematics. I.e., math is different from physics, but perhaps not as different as people usually think. I'll also discuss the convergence of theoretical computer science with theoretical physics, Leibniz's ideas on complexity, Stephen Wolfram's book A New Kind of Science, and how to attempt to use information theory to define what a living being is.

研究动机与目标

• 探討程式大小複雜度在理解數學推理極限方面的哲學含義。
• 使用停機機率Ω作為核心範例，證明形式公理系統無法證明某些數學對象的複雜度。
• 主張某些數學事實無原因而為真——僅因偶然而為真——從而挑戰數學純粹演繹的觀念。
• 提出數學與物理共享某些特徵，如不可簡化性與隨機性，暗示一種準經驗的數學方法。
• 探討是否能透過算法信息論與離散物理原理定義生命與智能。

提出的方法

• 使用程式大小複雜度（亦稱算法信息）作為衡量物件資訊含量的指標。
• 引入自定界通用圖靈機U，並定義停機機率Ω為U在隨機輸入下停機的機率。
• 應用Kraft不等式與算法機率P(x)，形式化較簡單的解釋（較短的程式）更可能的觀念。
• 使用證明略圖顯示，N位的形式理論無法證明N位程式為優雅（即最小）。
• 運用互資訊與次可加性概念，分析組合系統的複雜度。
• 在LISP中實現通用電腦U，以示範具體計算與程式大小測量。

实验结果

研究问题

• RQ1 形式數學理論能否證明任意對象的程式大小複雜度？
• RQ2 是否存在無原因而為真、僅因偶然的數學事實？
• RQ3 算法信息論在多大程度上揭示了數學知識與形式系統的本質極限？
• RQ4 作為Ω體現的數學隨機性概念，能否為數學的準經驗觀點提供依據？
• RQ5 是否可能透過算法信息論與離散物理原理定義生命或智能？

主要发现

• N位的形式理論無法證明N位程式為優雅，顯示形式系統所能確立的極限具有根本性。
• 停機機率Ω是算法隨機的，且無法被任何形式系統計算，因而成為不可簡化數學真理的自然範例。
• 存在無原因而為真——僅因偶然而為真——的數學事實，特別是Ω的數位，其不可簡化且相互獨立。
• 該理論顯示，程式大小複雜度提供了與哥德爾原始證明不同的不完備性途徑。
• 全像原理與物理系統中離散資訊含量的結合，暗示理論計算科學與理論物理的融合。
• 本文指出在將AIT延伸至無窮集合，以及發展數學概念生成的動態理論方面，仍存在開放問題。