[논문 리뷰] Shannon Information and Kolmogorov Complexity

Peter Grünwald, Paul Vitányi|arXiv (Cornell University)|2004. 10. 01.

Computability, Logic, AI Algorithms참고 문헌 21인용 수 138

한 줄 요약

이 논문은 샤논 정보이론과 콜모고로프 복잡도 사이의 종합적 비교를 제공하며, 엔트로피 대 알고리즘 복잡도, 확률적 상호정보량 대 알고리즘 상호정보량, 비율 손실 대 구조 함수라는 기본 개념을 대비하여 다루며, 기대 알고리즘 상호정보량이 확률적 상호정보량과 같음을 보이고, 마르코프 과정을 포함한 풍부한 소스 클래스에 대해 일반 코드가 존재함을 보여준다.

ABSTRACT

We compare the elementary theories of Shannon information and Kolmogorov complexity, the extent to which they have a common purpose, and where they are fundamentally different. We discuss and relate the basic notions of both theories: Shannon entropy versus Kolmogorov complexity, the relation of both to universal coding, Shannon mutual information versus Kolmogorov (`algorithmic') mutual information, probabilistic sufficient statistic versus algorithmic sufficient statistic (related to lossy compression in the Shannon theory versus meaningful information in the Kolmogorov theory), and rate distortion theory versus Kolmogorov's structure function. Part of the material has appeared in print before, scattered through various publications, but this is the first comprehensive systematic comparison. The last mentioned relations are new.

연구 동기 및 목표

• 샤논 정보이론과 콜모고로프 복잡도의 核심 개념을 체계적으로 비교하여, 그들의 공통 목표와 근본적인 차이점을 부각한다.
• 확률적 개념(예: 엔트로피, 상호정보량)과 알고리즘적 개념(예: 콜모고로프 복잡도, 알고리즘 상호정보량) 사이의 관계를 명확히 한다.
• 기대 알고리즘 상호정보량이 확률적 상호정보량과 같음을 증명하여 두 이론을 연결한다.
• 샤논 이론의 비율 손실 이론을 콜모고로프의 구조 함수와 연결하여 기대치에서의 동치성을 보여준다.
• 기대 코드 길이가 최적임을 보장하는 일반 코드가 풍부한 소스 클래스(예: 마르코프 과정)에 존재함을 보여준다.

제안 방법

• 샤논 엔트로피와 콜모고로프 복잡도를 정보의 척도로 정의하고 비교하며, 샤논 엔트로피가 소스 분포에 의존하는 반면 콜모고로프 복잡도는 객체 자체에 의존함을 강조한다.
• 이중부분 코딩 체계를 통해 일반 코드를 도입: 먼저 모델 인덱스(예: 분포 파라미터)를 프리픽스 코드로 인코딩하고, 그 다음 해당 모델에 대한 최적 코드로 데이터를 인코딩한다.
• 주어진 클래스에 속하는 임의의 소스에 대해 이중부분 일반 코드의 기대 코드 길이가 샤논-판코 코드 길이보다 O(log n) 이내임을 증명하여 일반 코드 조건을 만족함을 보인다.
• 일반 코드 프레임워크를 사용하여 두 객체 간의 기대 알고리즘 상호정보량이 그들의 확률적 상호정보량과 같음을 증명한다.
• 샤논 이론의 비율 손실 함수를 콜모고로프 복잡도 이론의 기대 구조 함수와 연결하여, 기대치에서 동일함을 보여준다.
• 일반 코드 구축을 통해 i.i.d. 베르누이 소스의 경우 평균 코드 길이가 엔트로피 H(p,1−p)로 수렴함을 보여, 기하급수적으로 많은 소스 클래스(예: 편향된 동전)에 대해서도 일반성의 성립을 증명한다.

실험 결과

연구 질문

• RQ1 개별 객체와 집합 소스에 대해 샤논 엔트로피와 콜모고로프 복잡도는 정보량을 어떻게 다루는가?
• RQ2 확률적 상호정보량과 알고리즘 상호정보량 사이의 관계는 무엇이며, 어떤 조건에서 그들이 일치하는가?
• RQ3 기대 코드 길이가 최적임을 보장하는 일반 코드를 구성할 수 있는가? 특히 마르코프 과정과 같은 풍부한 소스 클래스에 대해 가능한가?
• RQ4 샤논 이론의 비율 손실 이론은 콜모고로프 복잡도 이론의 구조 함수와 어떻게 관련이 있는가?
• RQ5 이중부분 일반 코드 프레임워크는 개별 시퀀스 최적화와 평균 케이스 최적화를 어느 정도 동시에 달성할 수 있는가?

주요 결과

• 두 객체 간의 기대 알고리즘 상호정보량은 그들의 확률적 상호정보량과 같으며, 이는 두 이론 사이의 기본적 다리를 놓는다.
• 이중부분 일반 코드는 주어진 클래스에 속하는 임의의 소스에 대해 기대 코드 길이가 최적의 샤논-판코 코드 길이보다 O(log n) 이내이므로 일반 코드 조건을 만족한다.
• 편향 p를 가진 i.i.d. 베르누이 소스의 경우 일반 코드의 평균 코드 길이가 엔트로피 H(p,1−p)로 수렴함을 보여, 기하급수적으로 많은 소스 클래스에 대해서도 일반성의 성립을 증명한다.
• 콜모고로프 복잡도의 기대 구조 함수는 비율 손실 이론의 왜곡-비율 함수와 같으며, 손실 압축과 알고리즘 충분통계 사이의 깊은 동치성을 보여준다.
• 각 순서의 모든 마르코프 소스 클래스에 대해 일반 코드가 존재하며, 실시간 인코딩과 디코딩이 가능하고 근사 최적 성능을 달성한다.
• 집합, 함수, 또는 분포의 콜모고로프 복잡도는 알고리즘 충분통계를 통해 정의될 수 있으며, 무작위성 초과의 의미 있는 정보를 포착한다.