[论文解读] Algorithmic Information Theory: a brief non-technical guide to the field

Marcus Hütter|arXiv (Cornell University)|Mar 6, 2007

Computability, Logic, AI Algorithms参考文献 7被引用 7

一句话总结

本文提供了算法信息论（AIT）的非技术性概述，介绍了其核心概念——柯尔莫哥洛夫复杂度、所罗门诺夫概率、莱文搜索以及马丁-洛夫随机性，作为衡量个体对象信息、随机性和简洁性的基础工具。它建立了一个严谨、客观的算法信息框架，为机器学习、复杂性理论和通用归纳等关键理论提供了基础。

ABSTRACT

This article is a brief guide to the field of algorithmic information theory (AIT), its underlying philosophy, and the most important concepts. AIT arises by mixing information theory and computation theory to obtain an objective and absolute notion of information in an individual object, and in so doing gives rise to an objective and robust notion of randomness of individual objects. This is in contrast to classical information theory that is based on random variables and communication, and has no bearing on information and randomness of individual objects. After a brief overview, the major subfields, applications, history, and a map of the field are presented.

研究动机与目标

• 为跨学科研究人员提供算法信息论（AIT）的清晰、易懂的入门介绍。
• 阐明AIT的哲学与技术基础，特别是其对个体对象中信息的客观度量方式。
• 解释AIT如何通过算法定义解决归纳、随机性和压缩领域长期存在的问题。
• 绘制AIT的主要子领域及其相互关系，帮助研究者更好地导航该领域。
• 突出AIT在机器学习、复杂性理论及物理学中的实际与理论应用。

提出的方法

• 将算法复杂度（AC）定义为在通用图灵机上输出给定字符串的最短程序的长度。
• 将算法概率（AP）引入为字符串上的通用先验，其来源于所有能输出给定字符串的程序之和。
• 将通用搜索（US）呈现为一种时间受限的最优搜索方法，利用莱文的速度先验以最小化搜索时间。
• 通过不可压缩性表征算法随机性：若一个字符串的算法复杂度等于其长度，则该字符串是随机的。
• 使用前缀图灵机确保程序具有自定界性，避免在复杂度定义中引入加法常数。
• 应用不可压缩性方法简化计算复杂性理论中的证明，并分析物理系统中的随机性。

实验结果

研究问题

• RQ1 如何在不依赖概率分布的情况下，客观地衡量单个对象中的信息含量？
• RQ2 单个有限字符串的正式随机性定义是什么？它与经典概率论概念有何不同？
• RQ3 能否构建一种通用方法来解决所有搜索问题，且其性能仅受常数因子影响？
• RQ4 算法概率如何为归纳与预测提供形式化基础？
• RQ5 算法复杂度在计算复杂性理论及其他理论计算机科学领域中，如何简化证明？

主要发现

• 算法复杂度为个体对象中的信息提供了客观、通用的度量方式，定义为计算该对象的最短程序的长度。
• 若一个字符串无法被压缩，即其算法复杂度等于其长度，则该字符串是算法随机的（马丁-洛夫随机）。
• 算法概率（所罗门诺夫先验）通过为更简单的解释分配更高的先验概率，为归纳问题提供了形式化、通用的解决方案。
• 通用搜索（莱文搜索）在解决任何搜索问题时均达到最优，仅受乘法常数因子影响，因此是人工智能与优化领域的基础方法。
• 不可压缩性方法通过利用大多数字符串不可压缩的事实，简化了计算复杂性理论中的证明。
• AIT为最小描述长度原则提供了严谨基础，并通过可逆计算与算法熵解决了热力学中的悖论（如麦克斯韦妖）。