[論文レビュー] Extending Landauer's Bound from Bit Erasure to Arbitrary Computation

David H. Wolpert|arXiv (Cornell University)|Aug 21, 2015

Computability, Logic, AI Algorithms被引用数 13

ひとこと要約

この論文は、入力状態を記録し、入力依存の計算を可能にするメモリーシステムを導入することで、ランドアウアーの原理をビット消去を超えて一般の計算へと拡張する。主な結果は、汎用チューリングマシン上で任意のビット文字列σを計算するための最小仕事の公式であり、$k_B T \ln 2 \left[ \text{コルモゴロフ次元}(\sigma) + \log(\text{σを計算する文字列のベルヌーイ測度}) + \log(\text{Uの停止確率}) \right]$ である。これにより、熱力学と理論的計算機科学の間の明確な関係が確立される。

ABSTRACT

Recent analyses have calculated the minimal thermodynamic work required to perform a computation pi when two conditions hold: the output of pi is independent of its input (e.g., as in bit erasure); we use a physical computer C to implement pi that is specially tailored to the environment of C, i.e., to the precise distribution over C's inputs, P_0. First I extend these analyses to calculate the work required even if the output of pi depends on its input, and even if C is not used with the distribution P_0 it was tailored for. Next I show that if C will be re-used, then the minimal work to run it depends only on the logical computation pi, independent of the physical details of C. This establishes a formal identity between the thermodynamics of (re-usable) computers and theoretical computer science. I use this identity to prove that the minimal work required to compute a bit string sigma on a "general purpose computer" rather than a special purpose one, i.e., on a universal Turing machine U, is k_BT ln(2) times the sum of three terms: The Kolmogorov complexity of sigma, log of the Bernoulli measure of the set of strings that compute sigma, and log of the halting probability of U. I also prove that using C with a distribution over environments results in an unavoidable increase in the work required to run the computer, even if it is tailored to the distribution over environments. I end by using these results to relate the free energy flux incident on an organism / robot / biosphere to the maximal amount of computation that the organism / robot / biosphere can do per unit time.

研究の動機と目的

• 不可逆的ビット消去からのランドアウアーの上限を、一般用途で入力に依存する計算へ一般化すること。
• 特定の入力分布に最適化された物理的コンピュータが、異なる入力分布で使用される場合の熱力学的コストを解明すること。
• 再利用可能なコンピュータを通じて、熱力学と理論的計算機科学の間の正式な同一性を確立すること。
• 汎用チューリングマシンU上で特定のビット文字列σを計算するために必要な最小仕事の定量的評価。
• 自由エネルギーのフラックスに基づいて、生物的システムの最大計算速度の上限を導出すること。

提案手法

• 2段階プロトコルを導入：まず、別個のメモリーシステムに入力マクロ状態$v_0$を記録し、次にプロセッサ上で入力依存の計算$\pi(\cdot \mid v_0)$を実行する。
• 計算後、メモリーシステムをクエンチング処理でリセットすることで、熱力学的コストを最小化する。
• 再利用可能なコンピュータの場合、物理的詳細に依存しない論理的計算$\pi$の関数として最小仕事の定義を行う。
• コルモゴロフ次元、ベルヌーイ測度、停止確率といった情報理論的測度を用い、一般計算における最小仕事の計算を行う。
• カルバック・ライブラー発散およびエントロピー分散を用いて、ユーザーの入力分布の不確実性に起因するペナルティを定量化する。
• 自由エネルギーのフラックスと熱力学的仕事の関係を用いて、生物的システムにおける計算速度の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 異なる入力を異なる出力にマッピングする任意の計算$\pi$を実行するために必要な最小熱力学的仕事は何か。ビット消去に限らない。
• RQ2 コンピュータが、自身が最適化された分布$\mathcal{P}_0$とは異なる分布で使用された場合、仕事コストはどのように変化するか。
• RQ3 特殊用途の装置ではなく、汎用チューリングマシン$U$上で特定のビット文字列$\sigma$を計算するために必要な最小仕事は何か。
• RQ4 ユーザーの入力分布の不確実性は、計算の期待熱力学的コストにどのように影響するか。
• RQ5 自由エネルギーのフラックスが、生物的システム（例：生物やバイオスフィア）における計算速度に及える上限は何か。

主な発見

• 汎用チューリングマシン$U$上でビット文字列$\sigma$を計算するための最小仕事は、$k_B T \ln 2 \left[ \text{コルモゴロフ次元}(\sigma) + \log(\text{σを計算する文字列のベルヌーイ測度}) + \log(\text{Uの停止確率}) \right]$ であり、これは$\sigma$に依存しない定数で有界である。
• 再利用可能なコンピュータを用いる場合、必要な最小仕事は物理的詳細$\mathcal{C}$に依存せず、論理的計算$\pi$にのみ依存する。これにより、熱力学と理論的計算機科学の間の正式な同一性が確立される。
• 自身が最適化された分布$\mathcal{P}_0$とは異なる環境分布の上に配置されたコンピュータを使用すると、再利用可能であっても避けられない熱力学的仕事の増加が生じる。
• ユーザーの入力分布に関する不確実性に起因する期待仕事ペナルティは、エントロピー分散の増大として定量化され、これは非負かつ時間とともに非増加的である。
• 生物的システムに到達する自由エネルギーのフラックスは、そのシステムが実行可能な計算速度の上限を提供する。これは脳機能やバイオスフィアスケールの計算に影響を及ぼす。
• 計算におけるノイズは、必要な総熱力学的仕事量を減少させる。これは、意思決定の質と計算コストの間の進化的なトレードオフの可能性を示唆する。