[논문 리뷰] A Short Introduction to Kolmogorov Complexity

Volker Nannen|arXiv (Cornell University)|2010. 05. 13.

Computability, Logic, AI Algorithms참고 문헌 6인용 수 6

한 줄 요약

이 논문은 알고리즘적 난수성의 보편적이고 수학적으로 일관된 측도인 접두어 복잡도를 중심으로 콜모고로프 복잡도에 대한 간결한 소개를 제공한다. 이는 콜모고로프 복잡도, 난수성 부족도, 최소 기술 길이(MDL), 그리고 콜모고로프 구조 함수 간의 기초적인 연결 고리를 확립하며, MDL와 최소 난수성 부족도가 상수 항을 제외하고는 동치임을 보여준다.

ABSTRACT

This is a short introduction to Kolmogorov Complexity. The interested reader is referred to the text books by Cover & Thomas as well as Li & Vítanyi, which cover the fields of information theory and Kolmogorov complexity in depth and with all the necessary rigor.

연구 동기 및 목표

• 추가 상수 항을 고려할 때 특정 계산 모델에 종속되지 않는 보편적인 알고리즘적 난수성 측도로서 콜모고로프 복잡도를 소개하는 것.
• 일반 복잡도와 접두어 복잡도 간의 차이를 명확히 하여 접두어 복잡도의 수학적 우수성을 강조하는 것.
• 난수성 부족도를 통한 일반성 개념을 정의하여 주어진 모델에 대해 문자열이 얼마나 대표적인지를 평가하는 기준을 설정하는 것.
• 콜모고로프 구조 함수, 최소 난수성 부족도, 최소 기술 길이를 수학적 동치성(상수 항을 제외한)을 통해 통합하는 것.

제안 방법

• 접두어 콜모고로프 복잡도 $K(s)$를 유니버설 튜링 기계(UTM)에서 문자열 $s$를 출력하는 가장 짧은 자기구분 프로그램의 길이로 정의한다.
• 조건부 콜모고로프 복잡도 $K(s|a)$를 보조 입력 $a$가 주어졌을 때 $s$를 출력하는 가장 짧은 프로그램으로 정의하며, $K(s) = K(s|\epsilon)$로 간주한다.
• 콜모고로프 구조 함수 $h_s(\alpha) = \min_{\mathcal{S}}[\log|\mathcal{S}| : \mathcal{S} \ni s, \; K(\mathcal{S}) \leq \alpha]$를 정의하여, 복잡도가 $\leq \alpha$인 가장 작은 집합 $\mathcal{S}$를 찾는다.
• 난수성 부족도 $\delta(s|m_p) = -\log p(s|m_p) - K(s|m_p, K(m_p))$를 정의하여, 모델 $m_p$ 하에서 $s$가 얼마나 비대칭적인지를 측정한다.
• 최소 기술 길이 $\lambda_s(\alpha) = \min_{m_p}[-\log p(s|m_p) + K(m_p) : K(m_p) \leq \alpha]$를 도입하여, 모델에 대해 $\leq \alpha$ 비트를 사용하는 두 부분 코드의 최단 길이를 나타낸다.
• 핵심 항등식 $\beta_s(\alpha) = h_s(\alpha) + \alpha - K(s) = \lambda_s(\alpha) - K(s)$를 확립하여, 최소 난수성 부족도, 구조 함수, MDL 간의 관계를 상수 항을 제외한 상황에서 연결한다.

실험 결과

연구 질문

• RQ1 접두어 콜모고로프 복잡도는 어떻게 알고리즘적 복잡도의 보편적이고 모델에 종속되지 않는 측도를 제공하는가?
• RQ2 콜모고로프 구조 함수, 최소 난수성 부족도, 최소 기술 길이 간의 관계는 무엇인가?
• RQ3 왜 난수성 부족도가 모델 하에서 문자열의 일반성 평가에 콜모고로프 복잡도 자체보다 더 좋은 기준이 되는가?
• RQ4 최소 기술 길이 원칙은 손실 압축에서 최소 난수성 부족도를 어느 정도 근사하는 데 사용될 수 있는가?
• RQ5 $h_s(\alpha)$, $\beta_s(\alpha)$, $\lambda_s(\alpha)$의 이론적 구조는 상호 어떻게 관련되어 있으며, 그 상수 항을 고려한 동치성의 의미는 무엇인가?

주요 결과

• 콜모고로프 구조 함수 $h_s(\alpha)$는 비감소적이며 항상 $h_s(\alpha) + \alpha \geq K(s) - O(1)$를 만족하며, 최적의 모델 선택 시 등호가 성립할 수 있다.
• 모든 문자열 $s$에 대해, 길이 $n$인 문자열 중 대부분은 복잡도가 $n$에 가까운데, 이는 복잡도가 $n - c$ 미만인 문자열의 수가 $2^{n-c}$ 미만이기 때문이다.
• 최소 난수성 부족도 $\beta_s(\alpha)$는 $K(m_p) \leq \alpha$인 모든 모델 $m_p$에 대해 $\delta(s|m_p)$의 최솟값으로 정의되며, 압축된 문자열과 원본을 구별하는 데의 어려움을 측정한다.
• 최소 기술 길이 $\lambda_s(\alpha)$는 복잡도가 $\leq \alpha$인 모델을 사용하여 $s$에 대해 두 부분 코드로 가장 짧은 길이를 가지며, 상수 항을 고려하면 $\lambda_s(\alpha) = \beta_s(\alpha) + K(s)$를 만족한다.
• 항등식 $\beta_s(\alpha) = h_s(\alpha) + \alpha - K(s) = \lambda_s(\alpha) - K(s)$는 인자와 값 양쪽에서 상수 항을 고려한 상황에서 성립하며, 이는 세 개념 간 깊이 있는 이론적 동치성을 확립한다.
• 기술 길이를 최소화하는 모델은 난수성 부족도도 최소화하지만, 그 역은 반드시 성립하지 않으며, 이는 일반성과 압축의 맥락에서 MDL의 최적성을 강조한다.