[論文レビュー] The Hot Bit I: The Szilard-Landauer Correspondence

Manoj Gopalkrishnan|arXiv (Cornell University)|Nov 14, 2013

Advanced Thermodynamics and Statistical Mechanics参考文献 9被引用数 6

ひとこと要約

この論文は、相対エントロピーを利用可能な自由エネルギーに一致させることで、情報理論と熱力学の間の正確で一般的な対応関係を確立し、シュレーディンガーのエンジンとランドアウアーの原理からの概念を統合する。相対エントロピーで測定される系に関する知識の増加は、自由エネルギーの対応的増加を要請することを証明しており、情報処理のコストが第二法則の直接的結果であることを示している。

ABSTRACT

We present a precise formulation of a correspondence between information and thermodynamics that was first observed by Szilard, and later studied by Landauer. The correspondence identifies available free energy with relative entropy, and provides a dictionary between information and thermodynamics. We precisely state and prove this correspondence. The paper should be broadly accessible since we assume no prior knowledge of information theory, developing it axiomatically, and we assume almost no thermodynamic background.

研究の動機と目的

• 情報と熱力学の間の長年の対応関係を形式化すること、特にシュレーディンガーが提唱し、ランドアウアーによって洗練されたもの。
• 「コピー」のような情報処理操作における曖昧さを解消するために、ベルヌーイ確率変数を用いてそれらを明確に定義すること。
• 情報理論の先行知識がなくてもアクセス可能な、相対エントロピーを情報の尺度として扱う厳密な公理的基盤を提供すること。
• シュレーディンガーのエンジンにとどまらず、より広範な物理系にまで拡張可能な、相対エントロピーと自由エネルギーを結ぶ一般定理を確立すること。
• 第二法則を情報理論的用語で再定式化し、相対エントロピーの非増加性が熱力学的整合性に対応することを示すこと。

提案手法

• 驚きを確率の単調減少関数として定義し、独立性下での加法性を仮定する操作的原理から情報理論を公理的に展開する。
• 自己情報量を $ \operatorname{SI}(p) = \log(1/p) $ として定義し、シャノンエントロピーと相対エントロピー（カルバック・ライブラー発散）を導出する。
• アンサンブルを用いて、相対エントロピーを観測者が事前分布に対して系について持つ情報として解釈する。
• 状態 $ p $ の系から得られる利用可能な仕事の差 $ F(p) - F(\pi) $ を、基準 $ \pi $（無知を表す）に対して相対的な自由エネルギーとして定式化する。
• 定理4.4の証明：$ D(p||\pi) = \frac{F(p) - F(\pi)}{k_B T} $、相対エントロピーと自由エネルギーの正確な対応関係を確立する。
• この対応関係を応用してランドアウアーの原理とマクスウェルの悪魔を再解釈し、消去に $ k_B T \log 2 $ のエネルギーが必要であることを、第二法則の結果として示す。

実験結果

リサーチクエスチョン

• RQ1 相対エントロピーを物理的文脈における情報の尺度として厳密に定義する方法は何か？
• RQ2 物理系において相対エントロピーに対応する正確な熱力学的量は何か？
• RQ3 なぜ系に関する情報の増加が熱力学的コストを要するのか、そしてそのコストはどのように定量化されるのか？
• RQ4 第二法則を相対エントロピーの情報理論的単調性の観点から再定式化できるか？
• RQ5 この対応関係は、シュレーディンガーのエンジンを越えて、任意の物理系に一般化できるか？

主な発見

• 論文は、相対エントロピー $ D(p||\pi) $ が、利用可能な自由エネルギー $ \frac{F(p) - F(\pi)}{k_B T} $ に正確に等しいことを証明し、情報と熱力学の間の根本的恒等式を確立した。
• この対応関係は、不確実性の低減による情報の増加が、測定可能な自由エネルギーの増加に対応することを示し、情報が物理的資源であることを示している。
• ビットの消去は相対エントロピーを減少させるが、少なくとも $ k_B T \log 2 $ のエネルギーを要する。これは、第二法則の結果としてランドアウアーの原理が回復されることを意味する。
• この枠組みにより、第二法則を、定常分布を持つマルコフ過程に適用可能な、相対エントロピーの非増加性として一般化して記述できる。
• 本論文は、「シュレーディンガー＝ランドアウアー対応関係」という用語が、情報と熱力学のより広範な双対性を反映するため、単に「ランドアウアーの原理」と呼ぶよりも適切であると主張する。
• この対応関係は、すべてのバッテリーが情報を貯蔵していること、そして知られている情報の各ビットが抽出可能な自由エネルギーの源と見なせることを明らかにする。