[论文解读] Extending Landauer's Bound from Bit Erasure to Arbitrary Computation

David H. Wolpert|arXiv (Cornell University)|Aug 21, 2015

Computability, Logic, AI Algorithms被引用 13

一句话总结

本文将兰道尔原理从位擦除扩展到任意计算，通过引入一种利用存储系统记录输入状态并实现输入依赖计算的热力学最优协议。关键结果是推导出在通用图灵机上计算任意位串 σ 所需的最小功公式：$k_B T \ln 2 \left[ \text{Kolmogorov复杂度}(\sigma) + \log(\text{计算 } \sigma \text{ 的字符串的伯努利测度}) + \log(\text{图灵机 } U \text{ 的停机概率}) \right]$，建立了热力学与理论计算机科学之间的正式联系。

ABSTRACT

Recent analyses have calculated the minimal thermodynamic work required to perform a computation pi when two conditions hold: the output of pi is independent of its input (e.g., as in bit erasure); we use a physical computer C to implement pi that is specially tailored to the environment of C, i.e., to the precise distribution over C's inputs, P_0. First I extend these analyses to calculate the work required even if the output of pi depends on its input, and even if C is not used with the distribution P_0 it was tailored for. Next I show that if C will be re-used, then the minimal work to run it depends only on the logical computation pi, independent of the physical details of C. This establishes a formal identity between the thermodynamics of (re-usable) computers and theoretical computer science. I use this identity to prove that the minimal work required to compute a bit string sigma on a "general purpose computer" rather than a special purpose one, i.e., on a universal Turing machine U, is k_BT ln(2) times the sum of three terms: The Kolmogorov complexity of sigma, log of the Bernoulli measure of the set of strings that compute sigma, and log of the halting probability of U. I also prove that using C with a distribution over environments results in an unavoidable increase in the work required to run the computer, even if it is tailored to the distribution over environments. I end by using these results to relate the free energy flux incident on an organism / robot / biosphere to the maximal amount of computation that the organism / robot / biosphere can do per unit time.

研究动机与目标

• 将兰道尔的界限从不可逆位擦除推广至通用、输入依赖的计算。
• 解决为某一输入分布量身定制但实际在不同分布下运行的物理计算机的热力学成本问题。
• 通过可重复使用的计算机，建立热力学与理论计算机科学之间的正式对应关系。
• 量化在通用图灵机 $U$ 上计算特定位串 $\sigma$ 所需的最小功。
• 基于自由能通量推导生物系统最大计算速率的边界。

提出的方法

• 提出两阶段协议：首先，将输入宏观态 $v_0$ 记录在独立的存储系统中；其次，在处理器上执行 $\pi(\cdot \mid v_0)$ 计算，同时保持输入依赖性。
• 使用淬火过程在计算后重置存储系统，以最小化热力学成本。
• 将最小功定义为逻辑计算 $\pi$ 的函数，与计算机 $\mathcal{C}$ 的物理细节无关，当 $\mathcal{C}$ 可重复使用时成立。
• 应用信息论度量（如柯尔莫哥洛夫复杂度、伯努利测度与停机概率）计算通用计算的最小功。
• 利用 Kullback-Leibler 散度与熵方差量化用户输入分布不确定性带来的惩罚。
• 通过将自由能通量与热力学功关联，推导生物系统计算速率的边界。

实验结果

研究问题

• RQ1 执行将不同输入映射到不同输出的任意计算 $\pi$（而不仅仅是位擦除）所需的最小热力学功是多少？
• RQ2 当计算机在与设计时不同的输入分布下使用时，其功耗如何变化？
• RQ3 在通用图灵机 $U$ 上计算特定位串 $\sigma$ 所需的最小功是多少（而非专用设备）？
• RQ4 用户输入分布的不确定性如何影响计算的期望热力学成本？
• RQ5 自由能通量对生物系统（如生物体或生物圈）计算速率施加的上界是什么？

主要发现

• 在通用图灵机 $U$ 上计算位串 $\sigma$ 所需的最小功为 $k_B T \ln 2 \left[ \text{Kolmogorov复杂度}(\sigma) + \log(\text{计算 } \sigma \text{ 的字符串的伯努利测度}) + \log(\text{图灵机 } U \text{ 的停机概率}) \right]$，其值受与 $\sigma$ 无关的常数所限制。
• 可重复使用计算机的最小功仅取决于逻辑计算 $\pi$，而与计算机 $\mathcal{C}$ 的物理细节无关，从而在热力学与理论计算机科学之间建立了正式对应关系。
• 在与设计分布 $\mathcal{P}_0$ 不同的环境分布下使用计算机，即使可重复使用，也会不可避免地导致热力学功的增加。
• 由于对用户输入分布不确定性带来的期望功惩罚，其量化为熵方差的增长，该值非负且随时间非增。
• 作用于生物系统的自由能通量为其可执行的计算速率提供了上界，对脑功能与生物圈尺度计算具有启示意义。
• 计算中的噪声会降低所需的总热力学功，提示在决策质量与计算成本之间可能存在进化权衡。