[논문 리뷰] Forbidden Information

Leonid A. Levin|arXiv (Cornell University)|2002. 03. 27.

Computability, Logic, AI Algorithms인용 수 7

한 줄 요약

이 논문은 임의의 재귀적으로 열거 가능한 보편 부분 재귀 술어의 확장(예: 페아노 산술)이 n비트 입력 문장을 해결하지 못하거나, 어떤 재귀적으로 열거 가능한 실수 ρ의 n비트 접두사에 대해 거의 모든 정보를 포함해야 한다는 것을 보여준다. 핵심 결과는 어떤 물리적으로 실현 가능한 과정—결정론적 또는 확률적—이 특정 수학적 수열에 대해 의미 있는 정보를 생성할 수 없다는 것이며, 이는 고델의 불완전성 정리에 존재하는 틈새를 메우며, 페아노 산술과 같은 형식 체계의 일관된 완성은 어떤 현실적인 수단으로도 본질적으로 불가능하다는 것을 보여준다.

ABSTRACT

Goedel Incompleteness Theorem leaves open a way around it, vaguely perceived for a long time but not clearly identified. (Thus, Goedel believed informal arguments can answer any math question.) Closing this loophole does not seem obvious and involves Kolmogorov complexity. (This is unrelated to, well studied before, complexity quantifications of the usual Goedel effects.) I consider extensions U of the universal partial recursive predicate (or, say, Peano Arithmetic). I prove that any U either leaves an n-bit input (statement) unresolved or contains nearly all information about the n-bit prefix of any r.e. real r (which is n bits for some r). I argue that creating significant information about a SPECIFIC math sequence is impossible regardless of the methods used. Similar problems and answers apply to other unsolvability results for tasks allowing multiple solutions, e.g. non-recursive tilings.

연구 동기 및 목표

• 형식적 추론 이외의 비알고리즘적 수단이 여전히 결정 불가능한 문장을 해결할 수 있다는 장기적인 틈새를 메우기 위해.
• 페아노 산술과 같은 형식 체계의 일관된 완성은 재귀적 방법 외에도 어떤 물리적으로 실현 가능한 과정을 통해도 불가능하다는 것을 보여주기 위해.
• 결정론적 또는 확률적 과정이 수학적 수열과 형식 체계의 확장 간 상호정보량을 증가시킬 수 없다는 것을 입증하기 위해.
• 수학적으로 정의된 수열과 물리적으로 접근 가능한 수열 간의 정보 전달에 대한 기본 제약 조건으로서의 '독립성 공리' (IP)를 정식화하고 뒷받침하기 위해.
• 특정 수학적 수열에 대한 새로운 정보를 생성할 수 없는 것은 알고리즘 정보 이론의 보존 법칙의 결과라는 것을 보여주기 위해.

제안 방법

• 보편 부분 재귀 술어의 확장에 대한 정보량을 분석하기 위해 콜모고로프 복잡도와 상호정보량을 사용한다.
• 보존 부등식을 적용한다: 결정론적 또는 확률적 과정은 수열과 그 기술 간의 상호정보량을 증가시킬 수 없다.
• 임의의 총확장이 ρ의 n비트 접두사에 대해 거의 모든 정보를 포함해야 하는 특정 재귀적으로 열거 가능한 실수 ρ를 구성한다.
• 독립성 공리 (IP)를 적용한다: 수학적으로 정의된 수열 X와 물리적으로 접근 가능한 수열 Y 간의 상호정보량은 k + n + c 이하로 제한되며, 여기서 k는 Y의 기술 길이이고 n은 X에 대한 문장 길이이다.
• 확률적 추론을 통해 무작위 알고리즘이 n비트 입력에 대해 보편 부분 재귀 술어의 총확장을 계산할 확률이 지수적으로 작다는 것을 보여준다.
• 알고리즘적 무작위성과 비재귀적 타일링(예: Durand, Levin, Shen 01)의 결과를 활용하여 정보 보존에 대한 논증을 강화한다.

실험 결과

연구 질문

• RQ1 결정론적 또는 무작위 과정을 포함한 어떤 물리적으로 실현 가능한 과정도 특정 재귀적으로 열거 가능한 실수의 n비트 접두사에 대해 의미 있는 정보를 생성할 수 있는가?
• RQ2 비재귀적, 비알고리즘적 수단(예: 비형식적 추론 또는 물리적 과정)을 통해 페아노 산술을 일관적으로 완성하는 것은 가능한가?
• RQ3 독립성 공리 (IP)는 수학적 진리와 물리적 시스템 간의 정보 전달에 대한 기본 제약 조건으로서 성립하는가?
• RQ4 결정론적 및 무작위 과정 하에서의 상호정보량 보존은 결정 불가능한 수학적 수열에 대한 새로운 정보 생성 가능성 자체를 배제할 수 있는가?
• RQ5 비재귀적 타일링과 유사한 구조는 형식 체계와 동일한 정보 이론적 한계를 어떻게 설명하는가?

주요 결과

• 보편 부분 재귀 술어의 재귀적으로 열거 가능한 확장은 n비트 입력을 해결하지 못하거나, 어떤 재귀적으로 열거 가능한 실수 ρ의 n비트 접두사에 대해 거의 모든 정보를 포함해야 한다.
• 무작위 알고리즘이 n비트 입력에 대해 보편 부분 재귀 술어의 총확장을 계산할 확률은 O(2^(-n)) / m(K(n)|n) 이하이며, 이는 지수적으로 작은 확률이다.
• 알고리즘 정보 이론의 보존 법칙으로 인해 어떤 물리적으로 실현 가능한 과정도 수학적 수열과 형식 체계의 확장 간의 상호정보량을 증가시킬 수 없다.
• 독립성 공리 (IP)는 수학적으로 정의된 수열 X와 물리적으로 접근 가능한 수열 Y 간의 상호정보량이 k + n + c 이하로 제한됨을 시사하며, 여기서 k는 Y의 기술 길이이고 n은 X에 대한 문장 길이이다.
• 특정 수학적 수열에 대한 새로운 정보를 생성할 수 없는 것은 알고리즘의 제약을 넘어서 물리적 현실의 기본 제약이며, 보존 부등식에 의해 뒷받침된다.
• 이 결과는 고델의 불완전성 정리에 존재하는 장기적인 틈새를 메우며, 비재귀적 또는 비형식적 수단으로도 페아노 산술과 같은 형식 체계의 결정 불가능한 문장을 해결할 수 없다는 것을 보여준다.