[논문 리뷰] Towards a stable definition of Kolmogorov-Chaitin complexity

Jean‐Paul Delahaye, Héctor Zenil|arXiv (Cornell University)|2008. 04. 22.

Computability, Logic, AI Algorithms참고 문헌 9인용 수 12

한 줄 요약

이 논문은 터미널 기계와 세포 오토마타와 같은 계산 모델이 공통의 출력 확률 분포로 수렴하는 것을 식별함으로써, 안정적이고 언어에 종속되지 않는 콜모고로프-체이틴 복잡도의 정의를 제안한다. '자연스러운' 모델을 상대적 복잡도 순서를 유지하는(작은 상수 이내로 순서를 유지하는) 것으로 정의함으로써, 저자는 다양한 보편 기계 간에 알고리즘 복잡도가 안정적으로 유지되는 프레임워크를 수립하여, 덧셈 상수로 인한 불안정성을 극복한다.

ABSTRACT

Although information content is invariant up to an additive constant, the range of possible additive constants applicable to programming languages is so large that in practice it plays a major role in the actual evaluation of K(s), the Kolmogorov-Chaitin complexity of a string s. Some attempts have been made to arrive at a framework stable enough for a concrete definition of K, independent of any constant under a programming language, by appealing to the "naturalness" of the language in question. The aim of this paper is to present an approach to overcome the problem by looking at a set of models of computation converging in output probability distribution such that that "naturalness" can be inferred, thereby providing a framework for a stable definition of K under the set of convergent models of computation.

연구 동기 및 목표

• 다양한 프로그래밍 언어 또는 보편 터미널 기계 간에 발생하는 덧셈 상수의 영향으로 인한 콜모고로프-체이틴 복잡도의 불안정성 문제를 해결하기 위해.
• 문자열 복잡도의 상대적 순서를 일관되게 유지하는 '자연스러움'의 기준을 정의하여 계산 모델에 적용하기 위해.
• 다양한 계산 모델을 통해 출력 분포의 수렴을 분석함으로써, 알고리즘 확률에 대한 안정적이고 보편적인 기준 분포 D_N을 수립하기 위해.
• 특히 짧은 문자열에 대해, 터미널 기계와 세포 오토마타에서의 경험적 분포를 사용하여 콜모고로프-체이틴 복잡도를 근사하는 실용적이고 경험 기반의 프레임워크를 제공하기 위해.
• 수렴하는 확률 및 순서 분포가 보편적 극한으로 향하는 것으로 추측하고 실험을 통해 접근의 타당성을 검증하기 위해.

제안 방법

• 모델이 c = 0.01일 때 c-콜모고로프-체이틴 순서 유지 성질을 가지는 경우, 즉 서로 다른 모델 간에 문자열의 상대적 복잡도 순서를 유지하는 경우, '자연스러운' 모델로 정의한다.
• 유한한 보편 터미널 기계(TM(n))와 기본 세포 오토마타(CA(n))에서의 경험적 빈도 분포를 사용하여 출력 확률 분포 pr(D_N(n))와 순서 랭킹 ord(D_N(n))을 계산한다.
• n이 증가함에 따라 이러한 분포와 순서가 수렴하는지 분석하고, 수렴이 이루어지면 보편적 안정 분포 D_N가 존재함을 가정한다.
• 다른 모델들(TMs와 CAs) 간의 분포를 비교하여, 동일한 극한으로 수렴하는지 테스트함으로써 보편적 자연 사전 확률의 존재를 뒷받침한다.
• 순서 유지 정도를 정량화하기 위해 켄달의 순위 상관계수와 같은 통계적 측정치를 사용한다.
• TM(2,2)와 CA(1)의 실험 데이터를 활용하여 분포의 수렴성과 복잡도 순서의 안정성을 경험적으로 검증한다.

실험 결과

연구 질문

• RQ1 다양한 계산 모델이 출력 확률 분포에서 수렴하는 것을 식별함으로써, 안정적이고 언어에 종속되지 않는 콜모고로프-체이틴 복잡도의 정의를 달성할 수 있는가?
• RQ2 터미널 기계와 세포 오토마타와 같은 다양한 계산 모델이 문자열 복잡도의 상대적 순서를 어느 정도 유사하게 생성하는가?
• RQ3 다양한 계산 모델의 출력 분포가 수렴하는 극한으로서 보편적 확률 분포 D_N이 존재하는가? 이는 알고리즘 정보이론의 자연스러운 사전 확률로 기능하는가?
• RQ4 계산에서 '자연스러움'의 개념을 콜모고로프-체이틴 복잡도의 순서 유지 측면에서 어떻게 형식화하고 정량화할 수 있는가?
• RQ5 유한한 계산 모델에서의 경험적 분포가 이론적 보편 분포 m(s)를 신뢰성 있게 근사할 수 있으며, 이는 계산 불가능한 K(s)에 대한 실용적인 대안이 될 수 있는가?

주요 결과

• 경험적 결과는 터미널 기계와 세포 오토마타의 출력 확률 분포가 n이 증가함에 따라 공통된 극한으로 수렴함을 보여주며, 이는 보편적 자연 분포 D_N의 존재를 지지한다.
• 충분히 큰 n에 대해 다양한 모델 간에 문자열 복잡도의 순서(복잡도 K(s)에 따라 순위 매김)가 안정화되며, 추측에 따르면 임계값 k를 초과하면 모든 모델이 c = 0.01로 순서 유지 성질을 가진다.
• 추측 5와 6은 터미널 기계와 세포 오토마타 모델의 극한 분포가 동일한 보편 분포로 수렴함을 시사하며, 이는 다양한 계산 철학 간에 프레임워크의 강건성을 뒷받침한다.
• 켄달의 순위 상관계수를 사용함으로써 자연스러움을 정량화할 수 있었으며, 수렴이 이루어졌을 경우 모델 간의 복잡도 순서 랭킹 간 높은 일치도를 보였다.
• 이 프레임워크는 짧은 문자열에 대해 K(s)를 근사하는 실용적이고 경험 기반의 접근법을 가능하게 하여, 콜모고로프-체이틴 복잡도의 계산 불가능성 문제를 극복한다.
• 결과는 이론적 m(s)를 계산하기 어려운 상황에서, 유한 모델에서의 경험적 분포를 안정적이고 자연스러운 사전 확률로 사용할 수 있음을 지지한다.