[논문 리뷰] Information Distance Revisited

Bruno Bauwens|arXiv (Cornell University)|2018. 07. 29.

Computability, Logic, AI Algorithms참고 문헌 9인용 수 1

한 줄 요약

이 논문은 알고리즘 정보이론에서의 정보 거리에 대해 재검토하며, 이전에 주장한 lin{12}의 전면형 정보 거리가 O(1) 정밀도 범위 내에서 max(K(x|y), K(y|x))와 같다는 주장이 잘못되었음을 보여준다. 대신, 거리가 로그 수준 이상일 경우를 제외하고는 차이가 유계가 아니며, 같은 길이의 문자열에 대해 초로그형 거리일 경우에만 O(1) 정밀도 범위 내에서 등식이 성립함을 밝힌다.

ABSTRACT

We consider the notion of information distance between two objects x and y introduced by Bennett, Gács, Li, Vitanyi, and Zurek [1] as the minimal length of a program that computes x from y as well as computing y from x, and study different versions of this notion. It was claimed by Mahmud [11] that the prefix version of information distance equals max(K(x|y), K(y|) + O(1) (this equality with logarithmic precision was one of the main results of the paper by Bennett, Gács, Li, Vitanyi, and Zurek). We show that this claim is false, but does hold if the information distance is at least super logarithmic.

연구 동기 및 목표

• 논문 [12]에서 전면형 정보 거리가 O(1) 정밀도 내에서 max(K(x|y), K(y|x))와 같다는 잘못된 주장의 수정.
• 보통형과 전면형 정보 거리의 차이점과 각각의 정의를 명확히 하기.
• 원래 정보 거리 정의가 상수 이동 후에만 삼각부등식을 만족함을 보이며, 일반적으로 성립하지는 않음.
• 정보 거리와 max(K(x|y), K(y|x))의 등식이 O(1) 정밀도 내에서 성립하는 조건은 거리가 최소한 로그 수준 이상일 경우에 한해 성립함을 증명함.

제안 방법

• 게임 이론적 접근을 통해 전면형 정보 거리와 max(K(x|y), K(y|x)) 사이의 유계가 아닌 차이를 보여주는 반례를 구성함.
• 먼저 비이분할형 전면 안정형 버전에 게임 전략을 적용한 후, 이를 이분할형 경우로 확장함.
• 하향 점진적 계산 가능한 준측도와 사전 확률을 사용하여 알고리즘적 무작위성과 정보량을 모델링함.
• 함수 min(m(x|y), m(y|x))가 합이 1 이하로 유계된 대칭적이고 하향 점진적 계산 가능한 함수의 클래스에서 최대임을 보임.
• 준측도와 콜모고로프 복잡도 사이의 이중성 관계 K(x|y) ≈ −log m(x|y)를 활용하여 경계를 유도함.
• 삼각부등식을 적용하여, 충분히 큰 c에 대해 max(K(x|y), K(y|x)) + c가 삼각부등식을 만족함을 보임.

실험 결과

연구 질문

• RQ1 논문 [12]에서 주장한 lin{12}의 전면형 정보 거리가 O(1) 정밀도 내에서 max(K(x|y), K(y|x))와 같다는가?
• RQ2 로그 정밀도를 고려할 때 전면형 정보 거리와 조건부 콜모고로프 복잡도 사이의 진정한 관계는 무엇인가?
• RQ3 원래 정보 거리 정의가 상수 이동 후에 삼각부등식을 만족하는가?
• RQ4 정보 거리가 언제 O(1) 정밀도 내에서 max(K(x|y), K(y|x))와 같아지는가?
• RQ5 길이 n인 문자열에 대해 전면형 정보 거리와 max(K(x|y), K(y|x)) 사이의 최대 무한 차이는 얼마인가?

주요 결과

• 논문 [12]에서 주장한 lin{12}의 전면형 정보 거리가 O(1) 정밀도 내에서 max(K(x|y), K(y|x))와 같다는 주장은 틀렸다.
• 같은 길이의 문자열에 대해서조차도 전면형 정보 거리와 max(K(x|y), K(y|x)) 사이의 차이는 무한할 수 있다.
• 길이 n인 문자열에 대해 이 차이는 log log n − O(log log log n)까지 클 수 있다.
• |x| = |y| 이고 E1(x,y) ≥ 6 log|x| 이면, 네 가지 전면형 정보 거리는 모두 E1(x,y) + O(1)과 같다.
• 원래 정보 거리는 충분히 큰 상수를 더한 후에만 삼각부등식을 만족하며, 일반적으로 성립하지는 않는다.
• 합이 1 이하로 유계된 대칭적이고 하향 점진적 계산 가능한 함수의 클래스에서 최대 함수는 O(1) 요소를 제외하고 min(m(x|y), m(y|x))이다.