[論文レビュー] Overview of Information Theory, Computer Science Theory, and Stochastic Thermodynamics for Thermodynamics of Computation

David H. Wolpert|arXiv (Cornell University)|Dec 30, 2018

Advanced Thermodynamics and Statistical Mechanics被引用数 6

ひとこと要約

本稿では、情報理論、計算機科学理論、確率的熱力学を統合したフレームワークを提示し、計算の熱力学的特性を分析する。エントロピーの流れをランドウーラーのコスト、不一致コスト、残余エントロピー生成に分解し、フリードキンに基づく論理的可逆回路が、入力の相関関係や再初期化のオーバーヘッドのため、従来の不可逆回路よりも最小エネルギーコストが高くなる可能性があることを示している。これは、可逆性に起因する熱力学的利点に関する仮定に疑問を呈するものである。

ABSTRACT

I give a quick overview of some of the theoretical background necessary for using modern non-equilibrium statistical physics to investigate the thermodynamics of computation. I first present some of the necessary concepts from information theory, and then introduce some of the most important types of computational machine considered in computer science theory. After this I present a central result from modern non-equilibrium statistical physics: an exact expression for the entropy flow out of a system undergoing a given dynamics with a given initial distribution over states. This central expression is crucial for analyzing how the total entropy flow out of a computer depends on its global structure, since that global structure determines the initial distributions into all of the computer's subsystems, and therefore (via the central expression) the entropy flows generated by all of those subsystems. I illustrate these results by analyzing some of the subtleties concerning the benefits that are sometimes claimed for implementing an irreversible computation with a reversible circuit constructed out of Fredkin gates.

研究の動機と目的

• 現代の非平衡統計物理学を用いて、計算の熱力学的分析の理論的基盤を提供すること。
• 特に可逆回路と不可逆回路の比較において、異なる計算アーキテクチャに伴う熱力学的コストを明確にすること。
• エントロピーの流れを定量化することで、論理的可逆計算のエネルギー的利点に関する誤解を解消すること。
• 入力分布依存性とシステムの再初期化が最小エネルギーコストに与える影響を示すこと。

提案手法

• 確率的熱力学を用いて、全エントロピーの流れを3つの成分に分解する：ランドウーラーのコスト、不一致コスト、残余エントロピー生成。
• シャノンエントロピーとカルバック・ライブラー発散を情報理論的測度として用い、状態分布の変化と不一致を定量化する。
• 条件付き分布と写像を用いて計算機械をモデル化し、非ゼロ遷移構造に基づいてダイナミクスを部分写像に分解する。
• 初期状態分布と論理的写像の構造を考慮することで、エントロピーの流れを分析する。
• 関数ダイナミクスにおける「島」の概念を導入し、エントロピー分析のための部分写像を分離する。
• 入力分布が変化する条件下で、AOデバイス、従来の不可逆回路、拡張された可逆回路の各モデル間で熱力学的コストを比較する。

実験結果

リサーチクエスチョン

• RQ1 与えられた計算を実装するための最小熱力学的コストは何か。また、それらは入力分布にどのように依存するか。
• RQ2 理論的には期待されるが、論理的可逆回路が不可逆回路よりもエネルギーコストが高くなるのはなぜか。
• RQ3 入力変数間の統計的結合性が、計算の最小エネルギーコストにどのように影響するか。
• RQ4 再初期化プロセスが、計算システムの総熱力学的コストにおいて果たす役割は何か。
• RQ5 不一致コストと残余エントロピー生成は、異なる回路設計の効率にどのように影響するか。

主な発見

• 入力ビットに統計的相関がある場合、従来の不可逆回路の最小エネルギーコスト（EF）は、論理的可逆回路のそれよりも低くなる。これは、可逆回路のエントロピー生成が増加するためである。
• 不一致コストは、実際の初期分布と仮説的事前分布との差異に起因し、可逆システムであっても非ゼロとなる可能性がある。
• 出力ビットのみを再初期化する（モデル1および3の方式）と、すべての入力を再初期化する（拡張回路の方式）よりも、総EFが低くなる。特に入力が相関している場合には顕著である。
• 従来の回路の最小EFは、同等のAOデバイスのそれよりも、入力エントロピー S(p₀(X¹, X²)) に相当する分だけ低くなる。
• 拡張回路は論理的可逆ダイナミクスを有するため、不一致コストがゼロである。これに対して、モデル1〜3は非ゼロの不一致コストを有する可能性がある。
• 可逆回路には内在的なコストが高いため、配線の実用的課題やワイヤーに起因するエントロピー生成が、熱力学的利点を相殺する可能性があり、結果として実際には従来回路がより効率的である場合がある。