[논문 리뷰] Coding-theorem Like Behaviour and Emergence of the Universal Distribution from Resource-bounded Algorithmic Probability

Héctor Zenil, Liliana Badillo외 2명|arXiv (Cornell University)|2017. 11. 06.

Computability, Logic, AI Algorithms참고 문헌 36인용 수 37

한 줄 요약

이 논문은 튜링 완전성 이하의 자원 제한된 계산 모델에서 알고리즘적 확률과 보편 분포가 어떻게 유도되는지 조사한다. 유한 상태 기계, 문맥 자유 문법, 선형 유한 자동기계를 시뮬레이션함으로써, 심지어 약한 모델이라도 보편 분포와 강한 상관관계를 보이는 출력 분포를 생성함을 보여주며, 단순성/복잡성 편향의 최대 60%를 설명한다. 이는 알고리즘 복잡도에 대한 실용적이고 계산 가능한 근사치를 제공하며, 전통적인 엔트로피 및 압축 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Previously referred to as `miraculous' in the scientific literature because of its powerful properties and its wide application as optimal solution to the problem of induction/inference, (approximations to) Algorithmic Probability (AP) and the associated Universal Distribution are (or should be) of the greatest importance in science. Here we investigate the emergence, the rates of emergence and convergence, and the Coding-theorem like behaviour of AP in Turing-subuniversal models of computation. We investigate empirical distributions of computing models in the Chomsky hierarchy. We introduce measures of algorithmic probability and algorithmic complexity based upon resource-bounded computation, in contrast to previously thoroughly investigated distributions produced from the output distribution of Turing machines. This approach allows for numerical approximations to algorithmic (Kolmogorov-Chaitin) complexity-based estimations at each of the levels of a computational hierarchy. We demonstrate that all these estimations are correlated in rank and that they converge both in rank and values as a function of computational power, despite fundamental differences between computational models. In the context of natural processes that operate below the Turing universal level because of finite resources and physical degradation, the investigation of natural biases stemming from algorithmic rules may shed light on the distribution of outcomes. We show that up to 60\% of the simplicity/complexity bias in distributions produced even by the weakest of the computational models can be accounted for by Algorithmic Probability in its approximation to the Universal Distribution.

연구 동기 및 목표

• 튜링 완전성 이하의 하위완전 계산 모델에서 보편 분포와 알고리즘적 확률이 어떻게 유도되는지 조사하기.
• 초우선계층의 다양한 계산 모델에서 알고리즘 복잡도 근사치의 수렴성과 코딩 정리 유사 행동을 평가하기.
• 완전한 계산 능력을 갖추지 못한 유한한 자원 제한 모델이 높은 정밀도로 보편 분포를 근사할 수 있는지 평가하기.
• 전통적 추정기인 샤논 엔트로피와 손실 없는 압축과 비교하여 자원 제한 알고리즘적 확률의 성능을 평가하기.
• 물리적 또는 자원 제약로 인해 튜링 완전성 이하에서 작동하는 자연 과정에 대한 함의 탐색하기.

제안 방법

• 유한 상태 변환기(FST), 문맥 자유 문법(CFG), 선형 유한 자동기계(LBA)를 증가하는 계산 능력 수준에서 출력 분포를 시뮬레이션하기.
• 모델에서 생성된 문자열의 경험적 빈도 분포를 통해 알고리즘적 확률 근사치 계산하기.
• 문자열 빈도와 알고리즘 복잡도를 연결하기 위해 알고리즘 코딩 정리를 적용하고, 확률의 역수를 복잡도 추정치로 사용하기.
• 보편 분포의 기준으로 작은 보편 튜링 기계(TM(5,2))의 경험적 분포와 비교하기.
• 모델 간 분포 유사도 평가를 위해 순위 상관관계 및 값 수렴 지표 사용하기.
• 표준 복잡도 추정기인 샤논 엔트로피와 손실 없는 압축(Compress)과의 성능 평가하기.

실험 결과

연구 질문

• RQ1 튜링 완전성 이하의 자원 제한 모델이 보편 분포의 통계적 성질을 어느 정도 재현하는가?
• RQ2 초우선계층의 다양한 계산 모델에서 알고리즘 복잡도 근사치가 얼마나 빠르고 일관되게 수렴하는가?
• RQ3 알고리즘적 확률의 유한한 근사치가 약한 계산 모델에서 관찰되는 단순성/복잡성 편향의 상당 부분을 설명할 수 있는가?
• RQ4 정지하지 않는 모델과 정지하는 모델 간에 문자열 커버리지 및 보편 분포와의 분포 유사도 측면에서 어떤 차이가 있는가?
• RQ5 자원 제한 알고리즘적 확률의 상대적 성능은 샤논 엔트로피와 손실 없는 압축에 비해 알고리즘 복잡도 추정에서 어떻게 나타나는가?

주요 결과

• FST, CFG, LBA의 출력 분포는 작은 튜링 기계에서 유도된 보편 분포와 강한 순위 상관관계를 보이며, 이는 잠재적 코딩 정리 유사 행동의 존재를 시사한다.
• 가장 약한 모델인 유한 상태 변환기(FST)조차도 알고리즘적 확률 근사치를 통해 출력 분포에서 관찰된 단순성/복잡성 편향의 최대 60%를 설명한다.
• 선형 유한 자동기계(LBA)는 하위완전 모델 중에서 순위 및 값 수렴 측면에서 보편 분포에 가장 정확한 근사치를 제공한다.
• 계산 비용이 높지만, CFG는 보편 분포와 매우 높은 상관관계를 보이는 분포를 생성하지만, 대규모 샘플링에선 LBA보다 효율성이 떨어진다.
• 자원 제한 알고리즘적 확률 근사치는 특히 알고리즘적 난이도가 높은 문자열에 대해 샤논 엔트로피와 손실 없는 압축보다 알고리즘 복잡도 추정에서 뛰어난 성능을 보인다.
• 정지하지 않는 모델인 LBA는 보편 튜링 기계보다 LBA에 더 가까운 분포로 수렴함을 보이며, 이는 완전성 이하에서 자연스러운 점근적 한계를 형성함을 시사한다.