[论文解读] Sets Have Simple Members

Samuel Epstein, Leonid A. Levin|arXiv (Cornell University)|Jul 7, 2011

Computability, Logic, AI Algorithms参考文献 3被引用 13

一句话总结

本文证明，字符串集合 D 的通用概率 M(D) 与其成员的个体通用概率 M({x}) 之间存在紧密界限，其对数差值受 D 与停机序列 H 之间的算法互信息 j = I(D:H) 限制。关键结果表明，若 D 中所有字符串的柯尔莫哥洛夫复杂度 K(x) > k，则 D 对其每个成员均传递超过 i 位的信息，其中 i + j ≈ k，且无法使用显著的算法信息来生成 D 本身。

ABSTRACT

The combined Universal Probability M(D) of strings x in sets D is close to max M({x}) over x in D: their ~logs differ by at most D's information j=I(D:H) about the halting sequence H. Thus if all x have complexity K(x) >k, D carries >i bits of information on each its x where i+j ~ k. Note that there are no ways to generate D with significant I(D:H).

研究动机与目标

• 理解集合 D 的通用概率与其成员个体通用概率之间的关系。
• 量化在给定 D 与停机序列 H 的互信息条件下，D 能携带多少关于其成员的算法信息。
• 建立基于成员复杂度与信息内容的集合可压缩性与生成性的基本限制。
• 表明在不依赖显著算法信息描述停机序列 H 的前提下，无法生成集合 D，从而确立集合信息内容的界限。

提出的方法

• 将集合 D 的通用概率 M(D) 定义为 D 中所有字符串 x 在通用先验下的联合概率。
• 将 M(D) 与 x ∈ D 的 max M({x}) 进行比较，证明其对数差值受 D 与停机序列 H 之间的算法互信息 I(D:H) 限制。
• 利用不变性定理与算法概率框架，推导集合相对于其成员的信息含量界限。
• 应用如下恒等式：若对所有 x ∈ D 有 K(x) > k，则 D 必须至少向每个 x 传递 i 位信息，其中 i + j ≈ k 且 j = I(D:H)。
• 证明由于 I(D:H) 的固有限制，无法使用显著的算法信息来生成 D。
• 利用停机序列 H 是算法随机的这一事实，说明任何与 H 具有非平凡互信息 j 的集合 D 均无法从低复杂度描述中生成。

实验结果

研究问题

• RQ1 集合 D 的通用概率如何与其中成员的最大个体通用概率相关联？
• RQ2 log M(D) 与 log max M({x})（x ∈ D）之间的差值的最紧界限是什么？
• RQ3 在给定 D 与停机序列 H 的互信息条件下，集合 D 能在多大程度上携带关于其成员的算法信息？
• RQ4 是否可以使用关于停机序列 H 的显著算法信息来生成集合 D？若不能，原因是什么？
• RQ5 互信息 j = I(D:H) 对 D 及其成员的复杂度施加了何种约束？

主要发现

• M(D) 与 x ∈ D 的 max M({x}) 之间的对数差值受算法互信息 j = I(D:H) 限制，确保 M(D) 接近 D 中最可能成员的概率。
• 若 D 中所有字符串 x 满足 K(x) > k，则 D 对其每个成员传递超过 i 位信息，其中 i + j ≈ k 且 j = I(D:H)。
• 由于 H 的固有不可压缩性，无法使用显著的算法信息来生成 D。
• j = I(D:H) 作为根本限制，决定了 D 能携带的关于成员的信息量，超出其成员自身复杂度的部分。
• 该结果意味着，内部复杂度高的集合无法从低信息源高效描述或生成，尤其是与停机序列相关的集合。
• 该框架揭示了一种类对偶性：成员复杂度高且与 H 的互信息低，将强制 D 整体复杂度极高，从而限制其可压缩性。