[논문 리뷰] Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility

Héctor Zenil, Fernando Soler Toscano외 2명|arXiv (Cornell University)|2012. 12. 30.

Computability, Logic, AI Algorithms참고 문헌 16인용 수 25

한 줄 요약

이 논문은 손실 없는 압축과 계산 형식론 간의 일치성 및 안정성을 통해 검증된 2차원 터미트(2D Turmites)를 사용한 2차원 콜모고로프 복잡도 측정법을 제안한다. 알고리즘 확률과 코딩 정리 방법(Coding Theorem Method)에 기반한 이 방법은 짧고 복잡한 2차원 구조에 대해 압축 기반의 대안으로 신뢰할 수 있고 확장 가능한 방법을 제공한다.

ABSTRACT

We propose a measure based upon the fundamental theoretical concept in algorithmic information theory that provides a natural approach to the problem of evaluating $n$-dimensional complexity by using an $n$-dimensional deterministic Turing machine. The technique is interesting because it provides a natural algorithmic process for symmetry breaking generating complex $n$-dimensional structures from perfectly symmetric and fully deterministic computational rules producing a distribution of patterns as described by algorithmic probability. Algorithmic probability also elegantly connects the frequency of occurrence of a pattern with its algorithmic complexity, hence effectively providing estimations to the complexity of the generated patterns. Experiments to validate estimations of algorithmic complexity based on these concepts are presented, showing that the measure is stable in the face of some changes in computational formalism and that results are in agreement with the results obtained using lossless compression algorithms when both methods overlap in their range of applicability. We then use the output frequency of the set of 2-dimensional Turing machines to classify the algorithmic complexity of the space-time evolutions of Elementary Cellular Automata.

연구 동기 및 목표

• 이미지 및 이산 시스템의 시공간도와 같은 2차원 물체에 대해 자연적이고 객관적인 알고리즘 복잡도 측정법을 개발하기 위해.
• 특히 적용 범위가 겹치는 영역에서 손실 없는 압축을 기준으로 하여 코딩 정리 방법(CTM)이 2차원 복잡도 추정에 적합한지 검증하기 위해.
• 헤드 이동 규칙, 상태/기호 수, 격자 모델 대비 테이프 모델 등 계산 형식론의 변화에 대해 메서드의 안정성과 강건성을 입증하기 위해.
• 3x3 패치를 초과하는 더 큰 2차원 배열의 복잡도 추정을 가능하게 하기 위해 블록 분해 방법(BDM)을 도입하고 적용하기 위해.
• 2차원 튜링 기계의 출력 빈도를 기반으로 원자적 세포 자동기계(ECA)의 시공간 진화의 알고리즘 복잡도를 분류하기 위해.

제안 방법

• 간단하고 대칭적인 규칙에서 유도된 2차원 패턴의 분포를 생성하기 위해 2차원 결정론적 튜링 기계(Turmites)를 사용하며, 알고리즘 확률을 활용해 복잡도 추정치를 할당한다.
• 알고리즘 확률 이론의 레빈의 코딩 정리(Levin’s Coding Theorem)를 적용하여, 보편 분포에서 패턴 생성 빈도의 역수로 콜모고로프 복잡도를 추정한다.
• 더 큰 2차원 배열을 더 작은 겹치는 정사각형 패치(예: 3x3)로 분해하고 복잡도 추정치를 집계하여 더 큰 이미지로 확장 가능한 블록 분해 방법(BDM)을 활용한다.
• 압축 편향을 방지하기 위해 유사한 복잡도를 가진 문자열을 그룹화하여, CTM 기반 복잡도 추정치를 손실 없는 압축 알고리즘(gzip, bzip2 등)의 결과와 비교한다.
• 공개 접근을 위해 $K_m$ 및 향후 $K_{m,2D}$ 추정치를 제공하는 온라인 알고리즘 복잡도 계산기(http://www.complexitycalculator.com)를 활용한다.
• ECA 규칙 진화 및 터미트로 생성된 패턴에 대한 실험을 수행하며, 복잡도 순위를 압축 결과와 비교하고 수렴 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 2차원 튜링 기계(Turmites)에서 일관되게 유도된 2차원 콜모고로프 복잡도 측정법은 2차원 패턴의 알고리즘 복잡도를 반영할 수 있는가?
• RQ2 적용 범위가 겹치는 입력 영역에서 2차원 복잡도 추정에 대해 코딩 정리 방법(CTM)은 손실 없는 압축과 비교해 어떻게 성능을 보이는가?
• RQ3 헤드 이동 규칙, 상태 수, 기호 수 등의 계산 형식론 파rameter를 변화시켜도 CTM 기반 복잡도 추정치는 안정적인가?
• RQ4 블록 분해 방법(BDM)은 정확도를 유지하면서 얼마나 큰 2차원 배열로 복잡도 추정을 확장할 수 있는가?
• RQ5 2차원 튜링 기계의 출력 빈도 분포는 원자적 세포 자동기계(ECA)의 시공간도의 알고리즘 복잡도를 신뢰성 있게 분류할 수 있는가?

주요 결과

• CTM 기반 2차원 복잡도 측정법은 적용 범위가 겹치는 영역에서 손실 없는 압축 결과와 강한 일치를 보이며, 보조적 추정기로서의 타당성을 확인한다.
• 알고리즘 확률 기반으로 더 무작위로 간주되는 문자열은 일관되게 압축이 어려우며, 덜 무작위인 문자열은 더 잘 압축되므로 알고리즘 확률과 압축 가능성 간의 이론적 연결성이 검증된다.
• 헤드 이동 규칙, 상태/기호 수, 격자 모델 대비 테이프 모델 등 튜링 기계 형식론의 변화에 대해 메서드가 안정적이며, 수렴 속도가 빠르고 모델 파rameter에 대한 민감도가 낮음을 시사한다.
• 블록 분해 방법(BDM)은 3x3 패치를 초과하는 더 큰 2차원 배열의 복잡도 추정을 가능하게 하여, 더 큰 이미지 및 복잡한 시스템을 분석할 수 있도록 한다.
• 터미트로 생성된 패턴 빈도 기반의 원자적 세포 자동기계(ECA) 분류 결과는 압축 및 1차원 튜링 기계 결과와 일치하여 다양한 계산 모델 간의 일관성을 확인한다.
• 이 방법은 3x3 이상의 이미지 패치에 대해 콜모고로프 복잡도의 정확한 수치 근사치를 제공하며, 인공 생명, 로봇공학, 신경과학 등 다양한 분야에 광범위하게 응용될 수 있는 잠재력을 지닌다.