[論文レビュー] Semantic information, agency, and nonequilibrium statistical physics

Artemy Kolchinsky, David H. Wolpert|arXiv (Cornell University)|Jun 21, 2018

Statistical Mechanics and Entropy被引用数 3

ひとこと要約

本論文は、環境との相互作用を通じて自らの低エントロピー状態を維持するためのシステムの因果的役割に基づき、意味的情報の定量化理論を提唱する。非平衡統計力学と自己維持を結びつけることで、意味的情報とは因果的に必要な文法的情報であると定義し、物理的条件下での自律的行動、情報の内容、価値を形式的に定義可能にする。

ABSTRACT

Information theory provides various measures of correlations holding between the states of two systems, which are sometimes called measures of At the same time, the concept of refers to information which is in some sense meaningful rather than merely correlational. Semantic information plays an important role in many fields -- including biology, cognitive science, artificial intelligence -- and there has been a long-standing interest in a quantitative theory of semantic information. In this work, we introduce such a theory, which defines semantic information as the syntactic information that a physical system has about its environment that is causally necessary for the system to maintain its own existence. We operationalize self-maintenance in terms of the ability of the system to maintain a low entropy state, which we use to make connections to results in nonequilibrium statistical physics. Our approach leads naturally to formal definitions of notions like value of information, content, and agency. Our approach is grounded purely in the intrinsic dynamics of a system coupled to some environment, and is applicable to any physical system.

研究の動機と目的

• 意味のある情報と単なる相関関係を区別できる意味的情報の定量化理論の構築。
• 外部の解釈に依存せずに物理系における意味的情報の定義という長年の課題に取り組む。
• 内在的ダイナミクスと熱力学的制約を用いて、自律的行動、内容、情報の価値の概念を形式化する。
• 情報理論、非平衡統計力学、系における意味の物理的基盤の間の橋渡しを確立する。
• 外部観測者に依存せず、内部ダイナミクスと環境結合に基づく、任意の物理系（生物学的・人工的を含む）に適用可能なフレームワークを提供する。

提案手法

• 意味的情報とは、システムが環境について保持する文法的情報のうち、自らの低エントロピー状態を維持するために因果的に必要不可欠なものを定義する。
• 自己維持を、環境との連続的相互作用を通じて非平衡的・低エントロピー状態を維持する能力としてモデル化する。
• 非平衡統計力学の原則を応用し、情報処理の熱力学的コストと因果構造を定量化する。
• システムが意味的情報を用いて内部状態を制御し、エントロピー増加に抵抗できる能力に基づき、自律的行動の形式的定義を導出する。
• 因果的必要性を基準として、意味的情報と単なる統計的相関を区別する。
• 情報の価値を、システムの生存または自己維持に寄与する程度として形式化する。

実験結果

リサーチクエスチョン

• RQ1 意味的情報は、外部の観測者に依存しない物理的条件下で形式的にどのように定義できるか？
• RQ2 意味的情報とシステムの低エントロピー状態の熱力学的維持の関係は何か？
• RQ3 システムと環境の相互作用における情報の因果的構造から、どのように自律的行動が生じるか？
• RQ4 物理系において、意味的情報と文法的情報、あるいは統計的相関とは何が異なるか？
• RQ5 情報の価値は、システムの存続に寄与する役割に基づき、どのように定量化できるか？

主な発見

• 意味的情報は、システムが自らの低エントロピー状態を維持するために因果的に必要不可欠な文法的情報の部分集合として形式的に定義される。
• このフレームワークは、意味的情報と非平衡熱力学の直接的な関連を確立し、意味を物理的過程に根ざさせることを可能にする。
• 自律的行動は、意味的情報を用いて内部状態を制御し、熱力学的崩壊に抵抗できる能力から自然に生じる。
• 情報の価値は、エントロピー制御に与える因果的影響の程度によって定量化され、影響が大きいほど価値が高いとされる。
• この理論は、観測者に依存しない統一的枠組みを提供し、生物学的および人工的エージェントを含む任意の物理系に適用可能である。
• 内容は、因果的必要性の制約から導かれる、生存に因果的に関連する特定の環境状態として形式的に定義される。