[논문 리뷰] Facticity as the amount of self-descriptive information in a data set

Pieter Adriaans|arXiv (Cornell University)|2012. 03. 10.

Computability, Logic, AI Algorithms참고 문헌 22인용 수 9

한 줄 요약

이 논문은 콜모고로프 복잡도를 사용하여 데이터 세트 내 자가술술 기술 정보(self-descriptive information)의 척도로 사실성(facticity) φ(x)를 도입한다. 사실성은 부호화된 내용에서 객관적으로 분리 가능한 구조적 정보의 양으로 정의된다. 이 논문은 사실성이 확정적임을 증명한다: 무작위 문자열의 경우 φ(x) = 0이며, 압축 가능한 문자열의 경우 0 < φ(x) < ½|x| + O(1)이다. 사실성 임계값을 초과하는 문자열은 최적의 확률 모델을 갖지 못하며, 이는 복잡계에서 관찰되는 것과 유사한 이凹형 패턴을 보인다.

ABSTRACT

Using the theory of Kolmogorov complexity the notion of facticity ϕ(x) of a string is defined as the amount of self-descriptive information it contains. It is proved that (under reasonable assumptions: the existence of an empty machine and the availability of a faithful index) facticity is definite, i.e. random strings have facticity 0 and for compressible strings 0 &lt; ϕ(x) &lt; 1/2 |x| + O(1). Consequently facticity measures the tension in a data set between structural and ad-hoc information objectively. For binary strings there is a so-called facticity threshold that is dependent on their entropy. Strings with facticty above this threshold have no optimal stochastic model and are essentially computational. The shape of the facticty versus entropy plot coincides with the well-known sawtooth curves observed in complex systems. The notion of factic processes is discussed. This approach overcomes problems with earlier proposals to use two-part code to define the meaningfulness or usefulness of a data set.

연구 동기 및 목표

• 데이터 세트 내 의미 있거나 유용한 정보에 대한 형식적이고 객관적인 척도를 정의하여 이전 접근법의 단점을 피하고자 한다.
• 이중부분 코드 모델에서의 '별칭 문제(nickname problem)'를 해결하기 위해 자가술술 기술 정보의 명확하고 계산 가능한 척도를 도입하고자 한다.
• 사실성이 확정적인 척도로서 문자열 내에서 구조적 정보와 무작위적 또는 부호화된 내용을 객관적으로 구분할 수 있음을 확립하고자 한다.
• 사실성과 엔트로피, 알고리즘 복잡도를 연결하여 복잡계, 창의성, 정보 처리 분석의 기초를 마련하고자 한다.

제안 방법

• 접두어 자유(prefix-free) 콜모고로프 복잡도 K(x)와 이중부분 코드 최적화를 사용하여 문자열 x 내 자가술술 기술 정보의 양으로 사실성 φ(x)를 정의한다.
• 인덱스 경로 병리 현상을 방지하기 위해 접두어 자유를 보장하는 보편적 튜링 기계 U와 자가구분 코드를 사용한다.
• 스왑 기계 보조정리(swap-machine lemma)를 적용하여 인덱스와 데이터 역할을 일반화 없이 상호 교환 가능함을 보이며, 모델의 대칭성을 뒷받지기 위한 것이다.
• 엔트로피에 따라 변하는 사실성 임계값을 도입하며, 이 임계값을 초과하는 경우 최적의 확률 모델이 존재하지 않는다.
• 구조 함수(structure function)와 MDL 원칙을 활용하여 모델과 데이터 코드 길이를 균형 있게 조정함으로써, 구조적 정보와 노이즈를 객관적으로 분리한다.
• 사실성이 확정적임을 증명한다: 빈 기계와 충실한 색인화 가정 하에 과적합 없이 모든 모델 정보를 추출한다.

실험 결과

연구 질문

• RQ1 의미 있는 정보에 대한 형식적 척도를 객관적이고 확정적으로 정의할 수 있는가? 이 척도는 과적합 없이 모든 구조적 정보를 추출할 수 있는가?
• RQ2 이중부분 코드 최적화가 자가술술 기술 정보의 안정적이고 객관적인 척도 정의에 어떤 역할을 하는가?
• RQ3 사실성은 이진 문자열에서 엔트로피와 알고리즘 복잡도와 어떻게 관련되어 있으며, 복잡계에서 관찰되는 패턴을 보이는가?
• RQ4 사실성은 이전 접근법의 한계, 예를 들어 정교도(sophistication)와 유효 복잡도(effective complexity)의 문제를 극복할 수 있는가?
• RQ5 사실성은 데이터 세트가 본질적으로 계산 가능하며 확률 모델링이 불가능한 경우를 원칙적으로 식별할 수 있는가?

주요 결과

• 사실성 φ(x)는 확정적임이 증명되었다: 무작위 문자열의 경우 φ(x) = 0이며, 압축 가능한 문자열의 경우 0 < φ(x) < ½|x| + O(1)이다.
• 엔트로피에 따라 변하는 사실성 임계값을 초과하는 문자열은 최적의 확률 모델을 갖지 못하며, 본질적으로 계산 가능한 성격을 띈다.
• 사실성과 엔트로피의 그래프는 이凹형 패턴을 보이며, 통계역학 및 알고리즘 정보이론에서 관찰되는 곡선과 매우 유사하다.
• 충실한 색인화 가정과 빈 기계의 존재를 바탕으로 병리적인 색인 함수로부터의 영향을 방지함으로써 '별칭 문제'를 해결한다.
• 동일한 사실성 값을 갖는 여러 모델이 존재할 수 있는데, 이는 결함이 아니라 특징이다. 이는 여러 해석이 모두 유효한 게슈탈트 전환(Gestalt switches) 현상을 반영한다.
• 보편적 튜링 기계의 선택은 오직 상수의 편향만을 유도하므로, 다양한 구현 간 渐近적 비교가 가능하다.