[논문 리뷰] From Philosophy to Program Size

Gregory J. Chaitin|ArXiv.org|2003. 03. 27.

Computability, Logic, AI Algorithms참고 문헌 3인용 수 16

한 줄 요약

이 논문은 알고리즘 정보 이론(AIT)을 철학적 프레임워크로 제시하여 수학적 추론과 지식의 한계를 탐구한다. 프로그램 크기 복잡도를 통해 일부 수학적 진술이 비가역적이고 우연의 결과임을 보여주며, 정지 확률 Ω를 통해 형식 체계가 특정 객체의 복잡도를 증명할 수 없음을 보여 정형 체계의 불완전성을 입증한다. 이는 랜덤성과 비가역성이 근본적인 요소로 작용하는, 수학에 대한 준실험적 관점을 지지한다.

ABSTRACT

Most work on computational complexity is concerned with time. However this course will try to show that program-size complexity, which measures algorithmic information, is of much greater philosophical significance. I'll discuss how one can use this complexity measure to study what can and cannot be achieved by formal axiomatic mathematical theories. In particular, I'll show (a) that there are natural information-theoretic constraints on formal axiomatic theories, and that program-size complexity provides an alternative path to incompleteness from the one originally used by Kurt Godel. Furthermore, I'll show (b) that in pure mathematics there are mathematical facts that are true for no reason, that are true by accident. These have to do with determining the successive binary digits of the precise numerical value of the halting probability Omega for a "self-delimiting" universal Turing machine. I believe that these meta-theorems (a,b) showing (a) that the complexity of axiomatic theories can be characterized information-theoretically and (b) that God plays dice in pure mathematics, both strongly suggest a quasi-empirical view of mathematics. I.e., math is different from physics, but perhaps not as different as people usually think. I'll also discuss the convergence of theoretical computer science with theoretical physics, Leibniz's ideas on complexity, Stephen Wolfram's book A New Kind of Science, and how to attempt to use information theory to define what a living being is.

연구 동기 및 목표

• 프로그램 크기 복잡도의 철학적 함의를 탐구하여 수학적 추론의 한계를 이해하는 것.
• 정지 확률 Ω를 중심 예시로 삼아 형식적 공리 체계가 특정 수학적 객체의 복잡도를 증명할 수 없다는 것을 보여주는 것.
• 일부 수학적 사실은 이유 없이, 즉 우연히 참이라는 점을 주장함으로써 수학이 순수 추론적 성격을 가진다는 개념에 도전하는 것.
• 수학이 물리학과 마찬가지로 비가역성과 랜덤성을 공유하며, 준실험적 접근법을 제안하는 것.
• 알고리즘 정보 이론과 이산 물리 원리로 생명과 지능을 정의할 수 있는지 탐색하는 것.

제안 방법

• 객체의 정보 내용을 측정하는 데 사용되는 프로그램 크기 복잡도(또는 알고리즘 정보라고도 함)를 사용한다.
• 자기구분형 보편 튜링 기계 U를 도입하고, U가 랜덤 입력에서 정지할 확률로 정지 확률 Ω을 정의한다.
• Kraft 부등식과 알고리즘적 확률 P(x)를 적용하여 간단한 설명(짧은 프로그램)이 더 가능성 높다는 개념을 형식화한다.
• 증명 개요를 사용하여 N비트 형식 이론이 N비트 프로그램이 에클레틱(최소)임을 증명할 수 없다는 것을 보여준다.
• 상호정보량과 가역성의 성질을 활용하여 복합 시스템의 복잡도를 분석한다.
• LISP에서 보편 컴퓨터 U를 구현하여 구체적인 계산과 프로그램 크기 측정을 시연한다.

실험 결과

연구 질문

• RQ1 형식적 수학 이론은 임의의 객체의 프로그램 크기 복잡도를 증명할 수 있는가?
• RQ2 이론적으로 이유 없이, 즉 우연히 참인 수학적 사실이 존재하는가?
• RQ3 알고리즘 정보 이론은 수학 지식과 형식 체계의 본질적 한계를 어느 정도 드러내는가?
• RQ4 Ω에 구현된 수학적 랜덤성 개념이 수학에 대한 준실험적 관점의 정당화에 기여하는가?
• RQ5 알고리즘 정보 이론과 이산 물리 원리로 생명이나 지능을 정의하는 것은 가능한가?

주요 결과

• N비트 형식 이론은 N비트 프로그램이 에클레틱(최소)임을 증명할 수 없으며, 이는 형식적으로 증명할 수 있는 것의 근본적 한계를 보여준다.
• 정지 확률 Ω는 알고리즘적으로 랜덤이며 어떤 형식 체계로도 계산될 수 없어, 비가역적 수학적 진술의 자연스러운 예이다.
• 이론적으로 이유 없이 참인 수학적 사실이 존재한다—즉, 우연히 참이다. 특히 Ω의 비트들은 비가역적이고 상호 독립적이다.
• 이 이론은 고델의 원래 증명과는 다를 만한 경로를 통해 불완전성을 도출할 수 있음을 보여준다.
• 물리계에서의 이산 정보 내용과 허프로픽 원리의 수렴은 이론적 컴퓨터 과학과 이론 물리학의 융합을 암시한다.
• 무한 집합으로 AIT를 확장하거나 수학적 개념의 기원을 다루는 동적 이론을 개발하는 데 있어 열린 문제들이 존재한다.