[论文解读] Extending Landauer's Bound to Arbitrary Computation

David H. Wolpert|arXiv (Cornell University)|Aug 21, 2015

Computability, Logic, AI Algorithms被引用 2

一句话总结

本文将兰道尔原理推广至任意计算，表明可重复使用的计算机的最小热力学功仅取决于逻辑计算，而非物理实现。它推导出通用计算的下限，为 k_BT ln(2) 乘以柯尔莫哥洛夫复杂度、输入字符串的对数伯努利测度与停机概率之和，将热力学与算法信息论联系起来。

ABSTRACT

Recent analyses have calculated the minimal thermodynamic work required to perform a computation pi when two conditions hold: the output of pi is independent of its input (e.g., as in bit erasure); we use a physical C to implement pi that is specially tailored to the environment of C, i.e., to the precise distribution over C's inputs, P_0. First I extend these analyses to calculate the work required even if the output of pi depends on its input, and even if C is not used with the distribution P_0 it was tailored for. Next I show that if C will be re-used, then the minimal work to run it depends only on the logical computation pi, independent of the physical details of C. This establishes a formal identity between the thermodynamics of (re-usable) computers and theoretical science. I use this identity to prove that the minimal work required to compute a bit string sigma on a general purpose computer rather than a special purpose one, i.e., on a universal Turing machine U, is k_BT ln(2) times the sum of three terms: The Kolmogorov complexity of sigma, log of the Bernoulli measure of the set of strings that compute sigma, and log of the halting probability of U. I also prove that using C with a distribution over environments results in an unavoidable increase in the work required to run the computer, even if it is tailored to the distribution over environments. I end by using these results to relate the free energy flux incident on an organism / robot / biosphere to the maximal amount of computation that the organism / robot / biosphere can do per unit time.

研究动机与目标

• 将兰道尔的界限从不可逆操作（如位擦除）推广至任意计算。
• 分析当物理计算机在与设计时不同的输入分布下使用时的热力学成本。
• 确立对于可重复使用的计算机，最小功仅取决于逻辑计算，而与物理细节无关。
• 以算法复杂度和停机概率为基准，推导出通用图灵机计算的最小功下限。
• 将生物与人工系统中的自由能通量与最大计算能力联系起来。

提出的方法

• 将先前对计算的热力学分析扩展至输出依赖于输入的情况，以及计算机在输入分布不匹配时使用的情形。
• 利用可重复使用计算机的热力学与理论科学之间的形式等价性，推导功的界限。
• 应用算法信息论，特别是柯尔莫哥洛夫复杂度与通用图灵机的停机概率。
• 推导出在通用机器上计算一个位串 σ 所需的最小功为 k_BT ln(2) 乘以三项之和：K(σ)、计算 σ 的字符串的伯努利测度的对数，以及通用机器的停机概率的对数。
• 分析当计算机在与设计分布不同的环境分布下使用时，不可避免的最小功增加。
• 利用推导出的界限，将入射自由能通量与生物体和机器人中的最大计算吞吐量联系起来。

实验结果

研究问题

• RQ1 当输出依赖于输入且计算机在与设计不匹配的输入分布下使用时，执行任意计算所需的最小热力学功是多少？
• RQ2 可重复使用性如何影响物理计算机的最小功需求，且该影响与物理实现无关？
• RQ3 在通用图灵机上计算一个位串 σ 的最小功下限是多少？它如何与算法复杂度和停机概率相关联？
• RQ4 在与设计分布不同的环境分布下使用计算机，如何导致所需最小功的不可避免增加？
• RQ5 给定入射自由能通量，一个生物圈、生物体或机器人每单位时间最多能执行多少计算？

主要发现

• 在通用图灵机上计算一个位串 σ 所需的最小功为 k_BT ln(2) 乘以三项之和：σ 的柯尔莫哥洛夫复杂度、计算 σ 的字符串集合的伯努利测度的对数，以及通用机器的停机概率的对数。
• 对于可重复使用的计算机，最小热力学功仅取决于所执行的逻辑计算，而与计算机的物理细节无关。
• 在与设计分布不同的环境分布下使用计算机，将不可避免地导致所需最小功的增加。
• 计算的热力学成本从根本上与算法信息论相关，特别是通过通用图灵机的停机概率。
• 系统所接收的自由能通量设定了其每单位时间所能执行的最大计算量的根本上限。