[论文解读] A Theory of Pragmatic Information and Its Application to the Quasispecies Model of Biological Evolution

Edward D. Weinberger|ArXiv.org|May 11, 2001

Evolution and Genetic Dynamics参考文献 5被引用 4

一句话总结

本文提出了一种基于接收者决策效用的实用信息形式理论，将其定义为接收消息后行动概率分布中信息增益。该定义被证明唯一满足关键期望属性，并表明实用信息在埃因斯的准新种模型中充当全局李雅普诺夫函数，提供了一种新颖的、非单调的进化信息度量，能够捕捉超出香农熵的语义意义。

ABSTRACT

"Standard" information theory says nothing about the semantic content of information. Nevertheless, applications such as evolutionary theory demand consideration of precisely this aspect of information, a need that has motivated a largely unsuccessful search for a suitable measure of an "amount of meaning". This paper represents an attempt to move beyond this impasse, based on the observation that the meaning of a message can only be understood relative to its receiver. Positing that the semantic value of information is its usefulness in making an informed decision, we define pragmatic information as the information gain in the probability distributions of the receiver's actions, both before and after receipt of a message in some pre-defined ensemble. We then prove rigorously that our definition is the only one that satisfies obvious desiderata, such as the additivity of information from logically independent messages. This definition, when applied to the information "learned" by the time evolution of a process, defies the intuitions of the few previous researchers thinking along these lines by being monotonic in the uncertainty that remains after receipt of the message, but non-monotonic in the Shannon entropy of the input ensemble. It then follows that the pragmatic information of the genetic "messages" in an evolving population is a global Lyapunov function for Eigen's quasi-species model of biological evolution. A concluding section argues that a theory such as ours must explicitly acknowledge purposeful action, or "agency", in such diverse fields as evolutionary theory and finance.

研究动机与目标

• 解决进化与生物系统中缺乏对语义或有意义信息的严格度量的问题。
• 将实用信息定义为接收者在收到消息后其行动概率分布中的效用增益。
• 建立一个形式化且数学严谨的实用信息定义，满足加法性与一致性等核心期望属性。
• 将该理论应用于埃因斯的分子进化准新种模型，并通过李雅普诺夫函数证明其全局稳定性。
• 主张在信息、进化与金融理论中必须正式承认目的性行为或‘代理’作用。

提出的方法

• 将实用信息定义为接收消息后，接收者行动概率分布中不确定性减少的程度，相对于先验集合。
• 使用贝叶斯更新对行动分布进行形式化，描述接收者的决策过程。
• 证明所提出的实用信息度量是唯一满足加法性等期望属性（如独立消息的加法性）的度量。
• 将该度量应用于准新种模型的时间演化过程，将基因序列视为消息，将适应度视为行动效用。
• 证明实用信息在剩余不确定性上单调，但在输入香农熵上非单调，从而与经典信息论相区别。
• 证明实用信息在准新种动力学中充当全局李雅普诺夫函数，确保系统收敛至进化吸引子。

实验结果

研究问题

• RQ1 如何形式化定义一种‘有意义’或‘实用’信息的度量，以捕捉信息系统的语义内容？
• RQ2 实用信息度量必须满足哪些数学性质，才能在决策论语境中保持一致且有用？
• RQ3 在进化过程中，实用信息与香农熵的行为有何不同？
• RQ4 实用信息能否在准新种模型中充当李雅普诺夫函数，从而证明进化收敛性？
• RQ5 在生物与金融系统中，代理或目的性行为在信息定义中扮演何种角色？

主要发现

• 所提出的实用信息度量是唯一满足加法性、一致性与逻辑独立消息下单调性等期望属性的函数。
• 实用信息在接收消息后的剩余不确定性上保持单调，与香农熵在相同语境下的非单调行为形成对比。
• 在准新种模型中，实用信息充当全局李雅普诺夫函数，证明系统会演化至稳定的进化吸引子。
• 该理论揭示信息意义本质上是关系性的，取决于接收者的决策框架与先验信念。
• 该框架要求在信息理论中明确纳入代理或目的性行为，特别是在进化与经济系统中。
• 本文纠正了原始定理2证明中的一个缺陷，进一步强化了该理论的数学基础。