[논문 리뷰] Information Kernels

Samuel Epstein|arXiv (Cornell University)|2019. 07. 01.

Computability, Logic, AI Algorithms인용 수 1

한 줄 요약

이 논문은 유한 집합 X 내에 다른 X의 원소들에 대해 조건부로 단순한 문자열이 존재함을 보이며, 이는 X가 멈춤 시퀀스와 낮은 상호정보를 가진다는 조건 하에 성립한다. 최대 조건부 복잡도와 기대 조건부 복잡도라는 두 가지 다른 복잡도 측도를 사용하여, 이러한 조건부로 단순한 원소가 항상 존재함을 증명함으로써, 알고리즘적 정보이론 분야의 기초적 이해를 발전시킨다.

ABSTRACT

Given a set X of finite strings, one interesting question to ask is whether there exists a member of X which is simple conditional to all other members of X. Conditional simplicity is measured by low conditional Kolmogorov complexity. We prove the affirmative to this question for sets that have low mutual information with the halting sequence. There are two results with respect to this question. One is dependent on the maximum conditional complexity between two elements of X, the other is dependent on the maximum expected value of the conditional complexity of a member of X relative to each member of X.

연구 동기 및 목표

• 유한 집합 X 내의 문자열이 X의 다른 모든 문자열에 대해 조건부로 단순한지 조사하는 것.
• 특히 멈춤 시퀀스와의 상호정보에 초점을 맞추어, 그러한 조건부로 단순한 문자열이 존재할 조건을 분석하는 것.
• 최대 조건부 복잡도와 기대 조건부 복잡도라는 두 가지 다른 복잡도 측도를 사용하여 이론적 보장을 확립하는 것.

제안 방법

• 논문은 한 문자열이 다른 문자열에 대해 낮은 콜모고로프 복잡도를 가질 때 조건부 단순성을 정의한다.
• 최대 조건부 복잡도와 랜덤 요소가 다른 요소들에 대해 기대 조건부 복잡도를 기반으로 한 두 가지 복잡도 기반 기준을 도입한다.
• X가 멈춤 시퀀스와 낮은 상호정보를 가진다는 조건 하에 X의 구조를 분석함으로써 존재성 결과를 증명한다.
• 증명은 알고리즘적 난수와 멈춤 시퀀스의 성질을 활용하여 조건부 복잡도를 유계화하는 데 의존한다.
• 측도론적 및 정보이론적 추론을 사용하여, 낮은 상호정보 조건 하에 최소 복잡도의 조건부 기준 문자열이 반드시 존재함을 보여준다.

실험 결과

연구 질문

• RQ1 X가 멈춤 시퀀스와 낮은 상호정보를 가진다는 조건 하에, X 내에 다른 모든 X의 원소들에 대해 조건부로 단순한 문자열이 존재하는가?
• RQ2 X의 원소들 간의 최대 조건부 복잡도는 조건부로 단순한 문자열의 존재에 어떤 영향을 미치는가?
• RQ3 X의 랜덤 요소의 기대 조건부 복잡도는 보편적으로 단순한 조건부 기준 문자열의 존재를 결정하는 데 어떤 역할을 하는가?

주요 결과

• X가 멈춤 시퀀스와 낮은 상호정보를 가진다면, X의 다른 모든 원소들에 대해 조건부로 단순한 문자열이 존재한다.
• 상호정보 조건이 만족될 경우, 최대 조건부 복잡도 기준 하에 그러한 문자열의 존재가 보장된다.
• 기대 조건부 복잡도 기준 하에, 멈춤 시퀀스와 낮은 상호정보를 가진 집합에 대해서도 보편적으로 단순한 조건부 기준 문자열의 존재가 확립된다.
• 집합 X가 알고리즘적으로 난수일 필요는 없으며, 멈춤 시퀀스와의 상호정보가 낮다면 결과는 그대로 성립한다.