[논문 리뷰] Program-Size Versus Time Complexity, Speed-Up and Slowdown Phenomena in Small Turing Machines

Joost J. Joosten, Fernando Soler Toscano외 1명|arXiv (Cornell University)|2011. 02. 26.

Cellular Automata and Applications참고 문헌 6인용 수 4

한 줄 요약

이 논문은 2,2), (3,2), 및 (4,2) 기계를 포함한 소형 튜링 기계에서 프로그램 크기 복잡도와 시간 복잡도 사이의 상호 상관 관계를 실험적으로 조사한다. 이러한 기계들을 체계적으로 분석함으로써, 일반적으로 상태 수를 늘일수록 상당한 속도 저하가 발생하며, 평균적으로는 2,300배 이상의 속도 저하가 발생하는 것으로 드러났다. 반면 속도 향상은 드물고 미미한 편이므로, 소형 튜링 기계의 '미세 우주'에서 광범위한 속도 저하 현상이 존재함을 시사한다.

ABSTRACT

The aim of this paper is to undertake an experimental investigation of the trade-offs between program-size and time computational complexity. The investigation includes an exhaustive exploration and systematic study of the functions computed by the set of all 2-color Turing machines with 2, 3 and 4 states--denoted by (n,2) with n the number of states--with particular attention to the runtimes and space usages when the machines have access to larger resources (more states). We report that the average runtime of Turing machines computing a function almost surely increases as a function of the number of states, indicating that machines not terminating (almost) immediately tend to occupy all the resources at hand. We calculated all time complexity classes to which the algorithms computing the functions found in both (2,2) and (3,2) belong to, and made a comparison among these classes. For a selection of functions the comparison was extended to (4,2). Our study revealed various structures in the micro-cosmos of small Turing machines. Most notably we observed "phase-transitions" in the halting-probability distribution that we explain. Moreover, it is observed that short initial segments fully define a function computed by a Turing machine.

연구 동기 및 목표

• 소형 튜링 기계에서 프로그램 크기 복잡도(기술표현 길이)와 시간 복잡도 간의 관계를 탐색하기 위해.
• (2,2), (3,2), 및 (4,2) 튜링 기계가 계산하는 함수에 대해 상태 수를 늘일 경우 런타임 성능에 미치는 영향을 조사하기 위해.
• 소형 튜링 기계의 '미세 우주'에서의 구조적 패턴, 단계 전이 및 계산 행동을 규명하기 위해.
• 다양한 기계 크기 간의 속도 향상 및 속도 저하 현상을 정량화하고 통계적 유의성을 평가하기 위해.

제안 방법

• 2, 3, 및 일부 4 상태를 가진 2색 튜링 기계를 체계적으로 전수 분석하고 시뮬레이션하기 위해.
• 입력 0에서 20까지의 런타임, 메모리 사용량, 출력 패턴을 체계적으로 계산하기 위해.
• 모든 계산된 함수를 시간 복잡도 클래스로 분류하고 기계 크기 간에 비교하기 위해.
• 단계 수에 따른 정지 확률 분포와 런타임 분포를 분석하여 단계 전이를 탐지하기 위해.
• (2,2) 및 (3,2) 기계 간의 알고리즘 성능을 비교하여 속도 향상 및 속도 저하 요소를 계산하기 위해.
• 속도 향상과 속도 저하의 발생 확률을 추정하여 관측된 경향의 통계적 유의성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 2색 튜링 기계의 상태 수를 늘릴 경우, 계산하는 함수의 평균 런타임은 어떻게 변화하는가?
• RQ2 (2,2)에서 (3,2) 튜링 기계로 이동할 때 속도 향상과 속도 저하의 빈도와 크기는 각각 얼마인가?
• RQ3 계산 단계 수에 따라 정지 확률 분포에 눈에 띄는 단계 전이가 존재하는가?
• RQ4 소규모 초기 입력 세그먼트가 튜링 기계의 전체 행동을 얼마나 정확히 결정하는가?
• RQ5 (4,2) 기계 공간은 (3,2)와 비교해 속도 향상 및 속도 저하 경향에서 어떻게 다를까?

주요 결과

• 평균적으로 상태 수를 늘일수록 런타임이 크게 증가하며, (3,2)에서 계산되는 알고리즘의 평균 런타임은 (2,2)에서 가장 느린 것보다 약 2,379.75배 더 오래 걸린다.
• 관측된 최대 속도 저하는 약 1.198 × 10⁶배로, 상태 수 증가에 따른 극심한 성능 저하를 시사한다.
• (2,2)에서 계산된 3,414개의 알고리즘 중에서 (3,2)에서 더 빠른 알고리즘이 122개에 불과하며, 이는 50/50 속도 향상 가정 하에 약 10⁻¹⁰⁸의 확률로 발생할 수 있음을 의미한다. 이는 속도 저하가 통계적으로 우세함을 확인한다.
• 속도 향상은 드물지만 존재한다: (2,2)의 74개 함수 중 19개는 (3,2)에서 최소한 하나의 더 빠른 알고리즘이 존재하며, 평균 속도 향상 요소는 1.23배이다.
• (4,2)에서는 기능의 약 0.0069가 선형 속도 향상(2.5~3배 빠름)을 보였으며, 이는 (3,2)에서의 경향을 확인하여 속도 향상이 흔하지 않으며 미미함을 재확인한다.
• 정지 확률 분포는 명확한 단계 전이를 보였으며, 이는 특정 단계 수에 도달했을 때 계산 행동의 구조적 변화가 존재함을 시사한다.