[论文解读] Extracting the Kolmogorov Complexity of Strings and Sequences from Sources with Limited Independence

Marius Zimand|ArXiv.org|Feb 12, 2009

Computability, Logic, AI Algorithms参考文献 8被引用 7

一句话总结

本文展示了即使在两个源之间存在线性依赖关系时，字符串和序列的柯尔莫哥洛夫复杂度仍可被有效提升，这相比先前工作中所需的严格独立性要求是一个显著的放松。通过引入基于平衡表的新型构造，并利用信息重叠中的有界依赖性，作者证明了即使依赖性随 $ n^\alpha $ 增长（其中 $ \alpha < 1 $），也可使用统一的、真值表归约方式将随机性速率提升至超过输入速率。

ABSTRACT

An infinite binary sequence has randomness rate at least $σ$ if, for almost every $n$, the Kolmogorov complexity of its prefix of length $n$ is at least $σn$. It is known that for every rational $σ\in (0,1)$, on one hand, there exists sequences with randomness rate $σ$ that can not be effectively transformed into a sequence with randomness rate higher than $σ$ and, on the other hand, any two independent sequences with randomness rate $σ$ can be transformed into a sequence with randomness rate higher than $σ$. We show that the latter result holds even if the two input sequences have linear dependency (which, informally speaking, means that all prefixes of length $n$ of the two sequences have in common a constant fraction of their information). The similar problem is studied for finite strings. It is shown that from any two strings with sufficiently large Kolmogorov complexity and sufficiently small dependence, one can effectively construct a string that is random even conditioned by any one of the input strings.

研究动机与目标

• 解决一个基本问题：当两个源之间仅存在有限独立性时，是否仍可有效提升其随机性速率，从而放松先前所需的严格独立性要求。
• 确定仍能有效提取高柯尔莫哥洛夫复杂度的依赖程度上限（以 $ d(n) $ 衡量）
• 设计一种统一的、真值表归约方法，即使在两个序列共享恒定比例信息（即线性依赖）时，仍可提升随机性速率。
• 为非完全独立源环境下的随机性提取建立理论基础，从而拓展其在现实世界数据源中的适用性。
• 提供一种基于概率组合方法的构造性方法，用于构建平衡表，以确保子矩形中颜色模式的均匀分布，从而实现可靠提取。

提出的方法

• 使用公式 $ \text{dep}(x,y) = K(x) + K(y) - K(xy) $ 定义字符串之间的依赖性，通过柯尔莫哥洛夫复杂度度量共享信息量。
• 引入 $ (S,D) $-平衡表 $ T: [N] \times [N] \to [M] $ 的概念，即任意 $ B_1 \times B_2 $ 矩形中不包含任一大小为 $ M/D $ 的颜色子集的过量比例。
• 利用概率方法证明在条件 $ S^2 > 3M + 3M\ln D + 6SD + 6SD\ln(N/S) $ 下，此类平衡表存在，从而确保颜色分布的均匀性。
• 利用平衡表构造真值表归约，从具有有界依赖性的两个输入序列中提取新序列，确保输出的随机性速率超过输入速率。
• 将该归约表示为一个双预言机图灵机 $ M_f $，其在给定 $ \tau, \sigma, 1^n $ 时，通过访问两个输入序列的预言机，输出提取序列的第 $ n $ 个比特。
• 证明对于任意 $ \tau > 0 $、$ \delta > 0 $ 和 $ \alpha < 1 $，均存在一种归约方法，可在输入序列依赖性为 $ d(n) = n^\alpha $ 时，将随机性速率提升至至少 $ \tau + \delta $。

实验结果

研究问题

• RQ1 当输入源并非完全独立，而仅存在线性依赖时，是否仍可有效提升序列的随机性速率？
• RQ2 两个序列之间允许的最大依赖程度 $ d(n) $ 是多少，仍可实现高柯尔莫哥洛夫复杂度的有效提取？
• RQ3 是否可构造一种统一的、真值表归约方法，从两个依赖性为 $ d(n) = n^\alpha $（其中 $ \alpha < 1 $）的序列中提升随机性速率？
• RQ4 是否可利用平衡表确保信息在子矩形中分布均匀，从而实现可靠随机位的提取？
• RQ5 平衡表的存在是否能保证在条件依赖于其中一个输入序列时，提取序列仍保持高柯尔莫哥洛夫复杂度？

主要发现

• 对于任意 $ \tau > 0 $ 和 $ \delta > 0 $，均存在一种真值表归约方法，可将随机性速率至少为 $ \tau $ 且依赖性为 $ d(n) = n^\alpha $（任意 $ \alpha < 1 $）的两个序列的随机性速率提升至至少 $ \tau + \delta $。
• 该归约在参数 $ \tau $ 和 $ \sigma $ 上是统一的，即同一台机器适用于所有具有相同 $ \tau $ 和 $ \sigma $ 的输入，从而增强了实际可应用性。
• 当 $ S^2 > 3M + 3M\ln D + 6SD + 6SD\ln(N/S) $ 时，存在一种 $ (S,D) $-平衡表，确保任意子矩形中不出现任一颜色子集的过度集中。
• 即使在依赖性 $ d(n) = n^\alpha $ 的情况下，该构造仍能保证提取序列的柯尔莫哥洛夫复杂度接近最大值，从而有效提升随机性速率至超过输入速率。
• 该方法确保输出序列在条件依赖于任一输入序列时仍保持随机性，这是随机性提取与去随机化应用中的关键性质。
• 通过概率构造与切尔诺夫不等式，本文建立了支持可靠提取的平衡表的存在性，即使在依赖性有限的情况下亦成立。