[论文解读] A Theory of Universal Artificial Intelligence based on Algorithmic Complexity

Marcus Hütter|ArXiv.org|Apr 3, 2000

Computability, Logic, AI Algorithms参考文献 34被引用 58

一句话总结

本文提出了一种基于算法复杂性和贝叶斯决策理论的无参数、通用人工智能模型（AIξ），统一了通用归纳与序列决策，证明了AIξ是可能存在的最智能的无偏代理，其时间受限变体（AIξtl）在实际中虽不可计算，但仍优于任何其他受限代理。

ABSTRACT

Decision theory formally solves the problem of rational agents in uncertain worlds if the true environmental prior probability distribution is known. Solomonoff's theory of universal induction formally solves the problem of sequence prediction for unknown prior distribution. We combine both ideas and get a parameterless theory of universal Artificial Intelligence. We give strong arguments that the resulting AIXI model is the most intelligent unbiased agent possible. We outline for a number of problem classes, including sequence prediction, strategic games, function minimization, reinforcement and supervised learning, how the AIXI model can formally solve them. The major drawback of the AIXI model is that it is uncomputable. To overcome this problem, we construct a modified algorithm AIXI-tl, which is still effectively more intelligent than any other time t and space l bounded agent. The computation time of AIXI-tl is of the order tx2^l. Other discussed topics are formal definitions of intelligence order relations, the horizon problem and relations of the AIXI theory to other AI approaches.

研究动机与目标

• 开发一种形式化、通用的人工智能理论，独立于特定环境或应用。
• 将所罗门诺夫的通用归纳与序列决策理论统一，以实现不确定环境下理性代理的行为。
• 定义一种通用智能排序关系，使所有问题类别的代理之间可进行比较。
• 构建一个时间与空间受限的近似模型（AIξtl），其智能性仍优于任何其他受限代理。
• 证明通用AI模型在多种AI问题类别中的适用性，包括序列预测、博弈、优化和监督学习。

提出的方法

• 使用基于算法概率的通用先验，通过决策理论的功能化和迭代化公式，形式化基于代理的模型。
• 引入通用AIξ模型，作为利用通用半测度ξ解决环境先验分布未知问题的解决方案。
• 将通用半测度ξ应用于跨所有可计算环境的贝叶斯推理泛化，确保收敛至真实环境分布。
• 通过将计算限制在有限时间t和空间l，构建时间与空间受限的AIξtl模型，计算成本为t·2^l。
• 使用“最佳投票”算法和扩展的时序程序，有效近似不可计算的AIξ模型。
• 定义一种有效的智能排序关系，基于代理在所有环境中的性能进行比较，信用界限确保可分离性。

实验结果

研究问题

• RQ1 能否在不了解环境或效用函数的前提下，形式化定义一种通用人工智能？
• RQ2 如何将通用归纳（所罗门诺夫）与序列决策理论结合，以形成理性代理？
• RQ3 在所有可能环境中，通用无偏代理的智能理论极限是什么？
• RQ4 如何在保持其理论优越性的前提下，有效近似不可计算的通用AI模型？
• RQ5 通用AIξ模型在哪些方面能够解决多样化的AI问题类别，如序列预测、博弈对弈和函数最小化？

主要发现

• AIξ模型被证明是可能存在的最智能的无偏代理，因其在所有可计算环境中均最大化期望效用。
• AIξ模型收敛至真实环境分布μ，确保在任何序列预测任务中长期表现最优。
• 时间受限变体AIξtl被证明优于任何其他在时间t和空间l受限的代理，其计算时间为t·2^l。
• 通用AIξ模型形式化解决了序列预测、策略博弈、函数最小化和监督学习问题，无需针对具体问题进行设计。
• 智能排序关系提供了一个严谨的代理比较框架，AIξ在普遍意义上优于所有其他代理。
• 本文识别出时域问题为关键挑战，并讨论了潜在解决方案，但未提供最终解决方法。