[논문 리뷰] Numerical Evaluation of Algorithmic Complexity for Short Strings: A Glance into the Innermost Structure of Randomness

Jean-Paul Delahaye, Héctor Zenil|2011. 01. 25.

Computability, Logic, AI Algorithms인용 수 4

한 줄 요약

이 논문은 바쁜 비버 문제를 통해 알려진 정지 시간을 가진 2기호, 4상태 결정론적 튜링 기계를 체계적으로 시뮬레이션하여 최대 16비트까지의 짧은 비트 문자열에 대한 알고리즘 복잡도를 추정하는 새로운 수치적 방법을 제안한다. 얻어진 출력 빈도 분포를 바탕으로 레빈–조브킨–체이티킨 코딩 정리(Levin-Zvonkin-Chaitin coding theorem)를 적용하여 알고리즘 확률을 유도하고, 이를 통해 콜모고로프-체이티킨 복잡도를 추정한다. 이는 압축 기반 추정기에서의 덧셈 상수 오버헤드 문제를 피할 수 있는 강력하고 상수 없는 대안을 제공하며, 기계 크기의 변화에 걸쳐도 경험적으로 일관된 성능을 보인다.

ABSTRACT

We describe an alternative method (to compression) that combines several theoretical and experimental results to numerically approximate the algorithmic (Kolmogorov-Chaitin) complexity of all $\sum_{n=1}^82^n$ bit strings up to 8 bits long, and for some between 9 and 16 bits long. This is done by an exhaustive execution of all deterministic 2-symbol Turing machines with up to 4 states for which the halting times are known thanks to the Busy Beaver problem, that is 11019960576 machines. An output frequency distribution is then computed, from which the algorithmic probability is calculated and the algorithmic complexity evaluated by way of the (Levin-Zvonkin-Chaitin) coding theorem.

연구 동기 및 목표

• 압축 기반 방법이 덧셈 상수 오버헤드로 인해 실패하는 짧은 문자열에 대한 알고리즘 복잡도 추정 문제를 해결하기 위해.
• 손실 압축 히وري스틱스에 의존하지 않는 직접적이고 경험적인 알고리즘 복잡도 근사 방법을 개발하기 위해.
• 작은 튜링 기계의 출력 빈도 분포를 분석하여 무작위성의 내부 구조를 탐색하기 위해.
• 기계 상태 공간이 증가함에 따라 알고리즘 복잡도 순위의 안정성과 일관성을 검증하기 위해.

제안 방법

• 바쁜 비버 문제에서 알려진 정지 시간을 가진 2기호, 4상태 결정론적 튜링 기계 총 11,019,960,576대를 체계적으로 시뮬레이션한다.
• 모든 정지 출력을 기록하여 최대 16비트 길이의 비트 문자열에 대한 경험적 빈도 분포 D를 구성한다.
• 레빈–조브킨–체이티킨 코딩 정리를 적용하여 출력 빈도에서 알고리즘 확률 m(s)를 유도하고, 관계식 C(s) ≈ -log₂m(s)를 사용한다.
• 유도된 분포를 바탕으로 길이 ≤8비트인 모든 문자열과 일부 길이 16비트까지의 문자열에 대해 알고리즘 복잡도 값을 계산한다.
• Spearman 상관계수를 사용하여 기계 상태 수가 n=1에서 n=4로 증가할 때의 문자열 순위 일관성을 검증한다.
• 추정된 복잡도 값의 본질적인 비정수 성격을 고려하여, 이를 상대적인 알고리즘 단순성에 대한 세밀한 측정으로 해석한다.

실험 결과

연구 질문

• RQ1 압축 기반 방법이 덧셈 상수로 인해 실패하는 짧은 문자열에 대해 알고리즘 복잡도를 신뢰성 있게 추정할 수 있는가?
• RQ2 기계 상태 수를 3에서 4로 늘일 때 알고리즘 복잡도 순위는 얼마나 안정적인가?
• RQ3 작은 튜링 기계에서 유도된 출력 빈도 분포는 문자열의 진정한 알고리즘 확률을 어느 정도 반영하는가?
• RQ4 코딩 정리 접근법이 증가하는 기계 복잡도에 걸쳐 일관되고 의미 있는 복잡도 값을 도출하여 문자열 간 상대 순서를 유지하는가?
• RQ5 계산 모델의 선택(예: 2기호, 4상태 튜링 기계)이 최종 복잡도 분류에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 길이 8비트인 256개의 모든 비트 문자열과 길이 16비트까지의 일부 문자열에 대해 알고리즘 복잡도 추정치를 성공적으로 계산하여 종합적인 수치 데이터셋을 제공한다.
• 시뮬레이션된 4상태 튜링 기계의 출력 빈도 분포는 더 작은 기계 공간(n=1에서 n=4)의 문자열 순위를 유지하며, 높은 스피어만 상관계수를 통해 강력한 일관성을 보였다.
• D(3)와 D(4) 사이에서 문자열 순위의 첫 번째 이질성은 오직 20위에서 발생하여 상위 20개의 빈도 높은 문자열이 기계 크기 변화에 관계없이 상대 순서를 유지함을 시사한다.
• 추정된 알고리즘 복잡도 값은 비정수이며, 문자열 간 상대적 단순성에 대한 정밀한 비교를 가능하게 하는 세밀한 구조를 반영한다.
• 이 방법은 보편 튜링 기계나 압축 알고리즘의 임의적 선택에 대한 의존도를 줄이며, 전통적 추정기의 대안으로 하향식이고 경험적으로 기반한 접근법을 제공한다.
• 결과는 작은 보편 튜링 기계에서 유도된 알고리즘 확률이 알고리즘 복잡도 측정을 위한 자연스럽고 상수 없는 분포를 제공함을 시사한다.