[论文解读] Kolmogorov's Structure Functions with an Application to the Foundations of Model Selection

Nikolay Vereshchagin, Paul Vitányi|arXiv (Cornell University)|Apr 16, 2002

Computability, Logic, AI Algorithms被引用 5

一句话总结

本文通過證明最小化由柯尔莫哥洛夫複雜度約束的模型與數據到模型編碼組成的兩段碼，可得到使數據最為典型的最佳模型，從而建立了模型選擇的理論基礎。本文解決了一個長期存在的問題：儘管隨機性不足函數具有非單調性，但最短兩段碼仍可計算，從而驗證了結構函數與算法充分統計量在模型選擇中的有效性。

ABSTRACT

We vindicate, for the first time, the rightness of the original “structure function”, proposed by Kolmogorov in 1974, by showing that minimizing a two-part code consisting of a model subject to (Kolmogorov) complexity constraints, together with a data-to-model code, produces a model of best fit (for which the data is maximally “typical”). The method thus separates all possible model information from the remaining accidental information. This result gives a foundation for MDL, and related methods, in model selection. Settlement of this long-standing question is the more remarkable since the minimal randomness deficiency function (measuring maximal “typicality”) itself cannot be monotonically approximated, but the shortest two-part code can. We furthermore show that both the structure function and the minimum randomness deficiency function can assume all shapes over their full domain (improving an independent unpublished result of Levin on the former function of the early 70s, and extending a partial result of V’yugin on the latter function of the late 80s and also recent results on prediction loss measured by “snooping curves”). We give an explicit realization of optimal two-part codes at all levels of model complexity. We determine the (un)computability properties of the various functions and “algorithmic sufficient statistic ” considered. In our setting the models are finite sets, but the analysis is valid, up to logarithmic additive terms, for the model class of computable probability density functions, or the model class of total recursive functions. 1

研究动机与目标

• 建立柯爾莫哥洛夫1974年提出的原始結構函數在模型選擇中的理論有效性。
• 證明最小化兩段碼可產生使數據最為典型的模型，從而實現最佳擬合。
• 解決長期存在的疑問：儘管隨機性不足函數具有非單調性，其最小值是否仍可有效逼近。
• 描述結構函數與最小隨機性不足函數在其定義域內可能呈現的所有形狀範圍。
• 確定結構函數、隨機性不足與算法充分統計量的可計算性與不可計算性性質。

提出的方法

• 方法使用由模型描述（帶柯爾莫哥洛夫複雜度約束）與數據到模型編碼組成的兩段碼，並最小化總碼長。
• 分析衡量給定模型下數據非典型程度的隨機性不足函數，並證明最小化兩段碼等價於最大化典型性。
• 通過有限集合作為模型，構造所有複雜度層次下最佳兩段碼的顯式實現。
• 證明結構函數與最小隨機性不足函數在其整個定義域內可呈現任意形狀，拓展了先前結果。
• 分析延伸至可計算機率密度函數與全遞歸函數，僅允許對數級加法項。
• 證明結構函數與隨機性不足函數不可計算，但最短兩段碼可計算。

实验结果

研究问题

• RQ1 柯爾莫哥洛夫原始結構函數能否被證明是模型選擇的理論基礎？
• RQ2 儘管隨機性不足函數具有非單調性，其最小值是否仍可有效逼近？
• RQ3 結構函數與最小隨機性不足函數可能呈現的全部形狀範圍為何？
• RQ4 結構函數與算法充分統計量的可計算性性質如何與模型選擇相關？
• RQ5 兩段碼框架在更廣泛的模型類（如可計算密度或遞歸函數）中有多大的有效性？

主要发现

• 最小化模型複雜度與數據到模型編碼的兩段碼方法，可產生使數據最為典型的模型，從而實現最佳模型擬合。
• 結構函數在其整個定義域內可呈現任意形狀，確認其表達能力與廣泛適用性。
• 最小隨機性不足函數不可計算，但最短兩段碼可計算，從而解決了算法統計學中的一個關鍵悖論。
• 本文提供了所有複雜度層次下最佳兩段碼的顯式構造，證明了其實際可實現性。
• 結果可延伸至可計算機率密度函數與全遞歸函數類，僅允許對數級加法項。
• 分析確認算法充分統計量存在，且由最小兩段碼所定義，為MDL及其相關方法提供了理論基礎。