[论文解读] The Generalized Universal Law of Generalization

Nick Chater, Paul Vitányi|ArXiv.org|Jan 29, 2001

Computability, Logic, AI Algorithms参考文献 33被引用 12

一句话总结

本文通过用算法信息距离（即把一个刺激转换为另一个的最短程序长度）替代欧几里得心理距离，推广了希帕特的普遍泛化定律。在可计算混淆概率的假设下，该定律以极高概率成立，确立了信息距离作为最小化所有其他相似性度量的通用认知度量。

ABSTRACT

It has been argued by Shepard that there is a robust psychological law that relates the distance between a pair of items in psychological space and the probability that they will be confused with each other. Specifically, the probability of confusion is a negative exponential function of the distance between the pair of items. In experimental contexts, distance is typically defined in terms of a multidimensional Euclidean space-but this assumption seems unlikely to hold for complex stimuli. We show that, nonetheless, the Universal Law of Generalization can be derived in the more complex setting of arbitrary stimuli, using a much more universal measure of distance. This universal distance is defined as the length of the shortest program that transforms the representations of the two items of interest into one another: the algorithmic information distance. It is universal in the sense that it minorizes every computable distance: it is the smallest computable distance. We show that the universal law of generalization holds with probability going to one-provided the confusion probabilities are computable. We also give a mathematically more appealing form

研究动机与目标

• 将希帕特的普遍泛化定律从欧几里得心理空间推广至任意刺激。
• 解决在复杂刺激中假设心理距离为多维欧几里得空间的局限性。
• 确立算法信息距离为最小化所有可计算相似性度量的通用认知度量。
• 证明当混淆概率可计算时，普遍泛化定律以高概率成立。
• 基于柯尔莫哥洛夫复杂性和算法信息论，为认知相似性提供形式化且数学最优的基础。

提出的方法

• 将通用认知距离定义为算法信息距离 $ D_{\text{max}}(a,b) $，即能将 $ a $ 转换为 $ b $ 且反之亦然的最短程序长度。
• 使用该距离的负指数来建模混淆概率：$ \text{G}'(a,b) = 2^{-D_{\text{max}}(a,b)} $，并证明该值是在所有半可计算相似性准则下可能的最大混淆概率。
• 证明 $ \text{G}'(a,b) $ 在常数因子范围内，主导所有由可计算距离度量导出的其他混淆概率。
• 应用香农无噪编码定理，证明 $ D_{\text{max}}(a,b) $ 能为表示混淆概率生成最优前缀码。
• 确立两个项目之间的混淆概率渐近地由算法信息距离的负指数决定。
• 利用柯尔莫哥洛夫复杂性和前缀码的框架，形式化推导出的相似性度量的普遍性。

实验结果

研究问题

• RQ1 普遍泛化定律能否被推广至超越欧几里得心理空间的任意刺激？
• RQ2 是否存在一个通用的认知距离度量，能最小化所有其他可计算的相似性度量？
• RQ3 当混淆概率可计算时，混淆概率与距离之间的负指数关系是否以高概率成立？
• RQ4 算法信息距离能否作为建模人类认知相似性与混淆的最优基础？
• RQ5 对于自然图像或语言形式等复杂刺激，其在低维欧几里得空间中无法自然嵌入，该普遍定律在多大程度上仍然有效？

主要发现

• 算法信息距离 $ D_{\text{max}}(a,b) $ 是最小的可计算认知距离，其在加法常数范围内最小化所有其他可计算距离。
• 混淆概率 $ \text{G}'(a,b) = 2^{-D_{\text{max}}(a,b)} $ 在常数乘法因子范围内，主导所有由半可计算相似性准则导出的其他混淆概率。
• 对于任意固定的 $ b $，概率分布 $ P(a|b) = 2^{-D_{\text{max}}(a,b)} $ 是一个合法的概率分布，满足 $ \textstyle\text{sum}_{a \neq b} P(a|b) \text{ 小于或等于 } 1 $。
• 混淆度量 $ \text{G}'(a,b) $ 在香农-费诺编码方案下实现了最小期望码长，因此在信息论意义上是最优的。
• 当混淆概率可计算时，普遍泛化定律在心理距离由算法信息距离建模的假设下，以趋近于1的概率成立。
• 所推导出的通用度量能够解释直观的相似性（例如图像的黑白反转），而欧几里得距离无法捕捉此类关系，证明了其更广泛的认知相关性。