[논문 리뷰] Sets Have Simple Members

Samuel Epstein, Leonid A. Levin|arXiv (Cornell University)|2011. 07. 07.

Computability, Logic, AI Algorithms참고 문헌 3인용 수 13

한 줄 요약

이 논문은 집합 D의 보편적 확률 M(D)가 그 원소들의 개별 보편적 확률 M({x})의 최댓값으로 날카럽게 유 bounds되며, 이 둘의 로그 차이가 D와 멈춤 시퀀스 H 사이의 알고리즘적 상호정보량 j = I(D:H)로 유 bounds됨을 밝힌다. 핵심 결과는 D의 모든 문자열이 콜모고로프 복잡도 K(x) > k를 만족할 경우, D가 각 원소에 대해 i 비트 이상의 정보를 지닌다는 것으로, 여기서 i + j ≈ k이며, D 자체를 생성하는 데 유의미한 알고리즘적 정보를 사용할 수 없다는 점을 보여준다.

ABSTRACT

The combined Universal Probability M(D) of strings x in sets D is close to max M({x}) over x in D: their ~logs differ by at most D's information j=I(D:H) about the halting sequence H. Thus if all x have complexity K(x) >k, D carries >i bits of information on each its x where i+j ~ k. Note that there are no ways to generate D with significant I(D:H).

연구 동기 및 목표

• 집합 D의 보편적 확률과 그 개별 원소들의 보편적 확률 간의 관계를 이해하는 것.
• D가 멈춤 시퀀스 H와의 상호정보량을 고려할 때, D가 원소들에 대해 얼마나 많은 알고리즘적 정보를 지닐 수 있는지 정량화하는 것.
• 멤버들의 복잡도와 정보량에 기반하여 집합의 압축 가능성과 생성 가능성에 대한 기본 한계를 설정하는 것.
• 유의미한 알고리즘적 정보를 사용하여 멈춤 시퀀스 H에 대해 D를 생성할 수 없음을 보여주는 것으로, 집합의 정보량에 대한 한계를 뒷받침하는 것.

제안 방법

• 보편 사전확률에 따라 집합 D에 속한 모든 문자열 x에 대해 M(D)를 정의한다.
• D에 속한 x에 대해 max M({x})와 M(D)를 비교하여, 그 로그 차이가 D와 멈춤 시퀀스 H 사이의 알고리즘적 상호정보량 I(D:H)로 유 bounds됨을 보여준다.
• 불변성 정리와 알고리즘적 확률 프레임워크를 사용하여, 집합의 정보량이 그 원소들에 비해 유 bounds됨을 유도한다.
• K(x) > k이면 모든 x ∈ D에 대해 D는 각 x에 대해 적어도 i 비트의 정보를 지닌다. 여기서 i + j ≈ k이며 j = I(D:H)이다. 이 정체성을 적용한다.
• I(D:H)의 본질적 한계로 인해, D를 생성하는 데 유의미한 알고리즘적 정보를 사용할 수 없다는 것을 보여준다.
• 멈춤 시퀀스 H는 알고리즘적으로 무작위이므로, 비트리플 상호정보량 j를 가진 집합 D는 저복잡도 서술로는 생성될 수 없다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 집합 D의 보편적 확률은 그 개별 원소들의 최대 보편적 확률과 어떻게 관련이 있는가?
• RQ2 x ∈ D에 대해 log M(D)와 log max M({x}) 사이의 최대 유 bounds는 무엇인가?
• RQ3 D가 멈춤 시퀀스 H와의 상호정보량을 고려할 때, 그 원소들에 대해 얼마나 많은 알고리즘적 정보를 지닐 수 있는가?
• RQ4 집합 D는 멈춤 시퀀스 H에 대해 유의미한 알고리즘적 정보를 사용하여 생성될 수 있는가? 만약 그렇지 않다면, 그 이유는 무엇인가?
• RQ5 상호정보량 j = I(D:H)는 D의 복잡도와 그 원소들의 복잡도에 어떤 제약을 둔다?

주요 결과

• D에 속한 x에 대해 M(D)와 max M({x}) 사이의 로그 차이는 알고리즘적 상호정보량 j = I(D:H)로 유 bounds되며, 이는 M(D)가 D의 가장 확률이 높은 원소에 가까워짐을 보장한다.
• D에 속한 모든 문자열 x가 K(x) > k를 만족할 경우, D는 각 원소에 대해 i 비트 이상의 정보를 지닌다. 여기서 i + j ≈ k이며 j = I(D:H)이다.
• H의 본질적 압축 불가능성으로 인해, 멈춤 시퀀스 H에 대해 유의미한 알고리즘적 정보를 사용하여 D를 생성할 수 없다.
• j = I(D:H)의 유 bounds는 D가 개별 원소들의 복잡도를 초월해 그 원소들에 대해 지닐 수 있는 정보의 양에 대한 기본 한계로 작용한다.
• 결과적으로, 높은 내부 복잡도를 지닌 집합는 저정보 소스에서 효율적으로 서술되거나 생성될 수 없다. 특히 멈춤 시퀀스와 연결된 집합의 경우 더욱 그렇다.
• 이 프레임워크는 이중성(duality)을 수립한다: 높은 멤버 복잡도와 H와의 낮은 상호정보량은 D 전체의 높은 복잡도를 강제하며, 이는 압축 가능성에 제한을 둔다.