[논문 리뷰] Kolmogorov's Structure Functions with an Application to the Foundations of Model Selection

Nikolay Vereshchagin, Paul Vitányi|arXiv (Cornell University)|2002. 04. 16.

Computability, Logic, AI Algorithms인용 수 5

한 줄 요약

이 논문은 두 부분으로 나누어진 코드를 최소화함으로써 최적의 모델을 도출할 수 있음을 증명함으로써 모델 선택의 이론적 기반을 확립한다. 이 두 부분의 코드는 콜모고로프 복잡도 제약 조건을 가진 모델과 데이터를 모델로 인코딩하는 것으로 구성되며, 이는 데이터를 가장 일반적인 것으로 만드는 최적의 모델을 도출한다. 이는 오랫동안 남아있던 질문을 해결하며, 무작위성 부족 함수의 비단조화성에도 불구하고 가장 짧은 두 부분 코드를 계산할 수 있음을 보여주며, 구조 함수와 알고리즘적 충분통계량의 타당성을 입증한다.

ABSTRACT

We vindicate, for the first time, the rightness of the original “structure function”, proposed by Kolmogorov in 1974, by showing that minimizing a two-part code consisting of a model subject to (Kolmogorov) complexity constraints, together with a data-to-model code, produces a model of best fit (for which the data is maximally “typical”). The method thus separates all possible model information from the remaining accidental information. This result gives a foundation for MDL, and related methods, in model selection. Settlement of this long-standing question is the more remarkable since the minimal randomness deficiency function (measuring maximal “typicality”) itself cannot be monotonically approximated, but the shortest two-part code can. We furthermore show that both the structure function and the minimum randomness deficiency function can assume all shapes over their full domain (improving an independent unpublished result of Levin on the former function of the early 70s, and extending a partial result of V’yugin on the latter function of the late 80s and also recent results on prediction loss measured by “snooping curves”). We give an explicit realization of optimal two-part codes at all levels of model complexity. We determine the (un)computability properties of the various functions and “algorithmic sufficient statistic ” considered. In our setting the models are finite sets, but the analysis is valid, up to logarithmic additive terms, for the model class of computable probability density functions, or the model class of total recursive functions. 1

연구 동기 및 목표

• 1974년에 콜모고로프가 제안한 원래의 구조 함수가 모델 선택을 위한 이론적 타당성을 확보하는 것.
• 두 부분 코드를 최소화하면 데이터를 가장 일반적인 것으로 만드는 모델이 도출되어 최적의 피팅을 달성하는 것.
• 비단조화성을 보이는 무작위성 부족 함수의 효과적 근사 가능성에 대한 오랫동안 남아있던 질문을 해결하는 것.
• 구조 함수와 최소 무작위성 부족 함수의 정의역 전체에서 취할 수 있는 가능한 형태의 전반적인 범위를 규명하는 것.
• 구조 함수, 무작위성 부족 함수, 알고리즘적 충분통계량의 계산 가능성 및 비계산 가능성 성질을 규명하는 것.

제안 방법

• 두 부분 코드를 사용하는 방법으로, 모델 기술(콜모고로프 복잡도 제약 조건을 포함)과 데이터-모델 인코딩으로 구성되며, 총 코드 길이를 최소화한다.
• 무작위성 부족 함수를 분석하며, 이는 주어진 모델에 대해 데이터가 얼마나 일반적인지를 측정한다. 이는 두 부분 코드를 최소화하는 것이 일반성의 최대화와 대응됨을 보여준다.
• 유한 집합을 모델로 사용하여, 모든 수준의 모델 복잡도에서 최적의 두 부분 코드의 명시적 실현을 구축한다.
• 구조 함수와 최소 무작위성 부족 함수가 정의역 전체에서 어떤 형태도 취할 수 있음을 증명하며, 이는 이전 결과를 확장한다.
• 분석을 계산 가능한 확률 밀도 함수와 총 재귀 함수로 확장하며, 상수 로그 항 이내로 확장한다.
• 구조 함수와 무작위성 부족 함수의 비계산 가능성과 함께, 가장 짧은 두 부분 코드의 계산 가능성은 입증한다.

실험 결과

연구 질문

• RQ1 콜모고로프의 원래 구조 함수는 모델 선택의 기초로 정당화될 수 있는가?
• RQ2 비단조화성을 보이는 무작위성 부족 함수는 효과적으로 근사 가능한가?
• RQ3 구조 함수와 최소 무작위성 부족 함수가 취할 수 있는 가능한 형태의 전반적인 범위는 무엇인가?
• RQ4 구조 함수와 알고리즘적 충분통계량의 계산 가능성 성질은 모델 선택과 어떻게 관련되어 있는가?
• RQ5 두 부분 코드 프레임워크는 계산 가능한 밀도나 재귀 함수와 같은 더 넓은 모델 클래스에 대해 어느 정도 유효한가?

주요 결과

• 모델 복잡도와 데이터-모델 인코딩을 최소화하는 두 부분 코드 접근법은 데이터를 가장 일반적인 것으로 만드는 모델을 도출하여 최적의 피팅을 달성한다.
• 구조 함수는 정의역 전체에서 어떤 형태도 취할 수 있으며, 이는 그 표현력과 일반 적용 가능성의 타당성을 확인한다.
• 최소 무작위성 부족 함수는 비계산 가능하지만, 가장 짧은 두 부분 코드는 계산 가능하므로 알고리즘 통계학에서의 핵심 역설을 해결한다.
• 논문은 모든 수준의 모델 복잡도에서 최적의 두 부분 코드의 명시적 구현을 제공하여 실현 가능성을 입증한다.
• 결과는 계산 가능한 확률 밀도 함수와 총 재귀 함수의 모델 클래스로까지 확장되며, 상수 로그 항 이내로 확장된다.
• 분석은 알고리즘적 충분통계량이 존재하며, 최소 두 부분 코드에 의해 특징지어짐을 확인하며, MDL 및 관련 방법의 기초를 제공한다.