[论文解读] Information Kernels

Samuel Epstein|arXiv (Cornell University)|Jul 1, 2019

Computability, Logic, AI Algorithms被引用 1

一句话总结

本文证明了在有限集合 X 中存在一个字符串，该字符串相对于 X 的其他所有成员是条件简单的，前提是 X 与停止序列的互信息较低。通过使用两种不同的复杂度度量——最大条件复杂度和期望条件复杂度——本文证明了在这些条件下，这样的条件简单成员总是存在，从而推进了算法信息论的基础理解。

ABSTRACT

Given a set X of finite strings, one interesting question to ask is whether there exists a member of X which is simple conditional to all other members of X. Conditional simplicity is measured by low conditional Kolmogorov complexity. We prove the affirmative to this question for sets that have low mutual information with the halting sequence. There are two results with respect to this question. One is dependent on the maximum conditional complexity between two elements of X, the other is dependent on the maximum expected value of the conditional complexity of a member of X relative to each member of X.

研究动机与目标

• 研究有限集合 X 中是否存在一个字符串，其相对于 X 中所有其他字符串是条件简单的。
• 分析此类条件简单字符串存在的条件，特别关注其与停止序列的互信息。
• 通过两种不同的复杂度度量——最大条件复杂度和期望条件复杂度——建立理论保证。

提出的方法

• 本文通过一个字符串相对于另一个字符串的柯尔莫哥洛夫复杂度较低来定义条件简单性。
• 引入两种基于复杂度的标准：X 中任意两个元素之间的最大条件复杂度，以及随机元素相对于其他元素的期望条件复杂度。
• 通过约束 X 与停止序列具有低互信息，分析 X 的结构，证明存在性结果。
• 证明依赖于算法随机性和停止序列的性质，以界定条件复杂度。
• 使用测度论和信息论论证，表明在互信息较低时，必然存在一个最小复杂度的条件参考字符串。

实验结果

研究问题

• RQ1 当 X 与停止序列的互信息较低时，是否存在一个字符串在 X 中相对于所有其他字符串是条件简单的？
• RQ2 X 中元素之间的最大条件复杂度如何影响条件简单字符串的存在性？
• RQ3 X 中随机元素的期望条件复杂度在确定普遍简单的条件参考字符串存在性方面起什么作用？

主要发现

• 当 X 与停止序列的互信息较低时，存在一个相对于 X 中所有其他成员条件简单的字符串。
• 在最大条件复杂度标准下，只要满足互信息条件，此类字符串的存在性即可保证。
• 在期望条件复杂度标准下，对于与停止序列互信息较低的集合，普遍简单的条件参考字符串的存在性也得以确立。
• 即使集合 X 不是算法随机的，只要其与停止序列的互信息较低，结果依然成立。