[论文解读] A Unified Paradigm of Organized Complexity and Semantic Information Theory

Tatsuaki Okamoto|arXiv (Cornell University)|Jul 29, 2016

Computability, Logic, AI Algorithms参考文献 30被引用 6

一句话总结

本文提出了一种统一且可计算的有序复杂性定义，同时捕捉计算、描述和分布特征——采用电路模型而非图灵机或$\epsilon$-机器。它建立了首个形式化的语义信息理论，其语义信息量有严格定义，并证明了基础定理，包括语义信源编码定理和有效性编码定理，从而首次将有序复杂性和语义信息理论统一起来。

ABSTRACT

One of the most fundamental problems in science is to define {\it quantitatively} the complexity of organized matters, i.e., {\it organized complexity}. Although many measures have been proposed toward this aim in previous decades, there is no agreed upon definition. This paper presents a new quantitative definition of organized complexity. This definition {\it simultaneously} captures the three major features of complexity: computational (similar to logical depth), descriptional (similar to the Kolmogorov complexity and effective complexity) and distributional (similar to statistical complexity). In addition, the proposed definition is computable and can measure both probabilistic and deterministic forms of objects in a unified manner. The proposed definition is based on circuits rather than Turing machines and $ε$-machines. We give several criteria required for organized complexity measures and show that the proposed definition satisfies all of them for the first time. We then apply this quantitative definition to formulate a {\it semantic information theory}. We present the first formal definition of a {\it semantic information amount}, which is the core concept of the semantic information theory, that is based only on concretely defined notions. Previous semantic information theories defined this amount under some a priori information which is not concretely specified. We then unveil several fundamental properties in the semantic information theory, e.g., a semantic source coding theorem, semantic channel coding theorem, and effectiveness coding theorem. Although the semantic information theory has a long history of research going back more than six decades, there has been no study on its relation to organized complexity. This paper offers the first unified paradigm of organized complexity and semantic information theory.

研究动机与目标

• 解决长期以来缺乏一个被广泛接受的有序复杂性定量定义的问题。
• 将复杂性的三大特征——计算、描述和分布——统一为一个连贯的度量。
• 基于具体可度量的概念，建立一个形式化语义信息理论，其语义信息量有严格定义。
• 弥合有序复杂性和语义信息理论之间的鸿沟，这两者历史上一直被孤立研究。
• 为生物学、社会学和信息学等跨学科领域提供一个基础性框架。

提出的方法

• 提出一种基于电路表示而非图灵机或$\epsilon$-机器的新复杂性度量，实现可计算性，并统一处理确定性和概率性系统。
• 基于仅由具体定义的概念，提出语义信息量的形式化定义，避免依赖模糊或先验假设。
• 定义有效性系统和有效性编码系统，引入“有效性容量”$\sf EC$作为在语义约束下信息传输效率的度量。
• 建立语义信源编码定理和语义信道编码定理，表明在语义保真度约束下，最优压缩和传输速率的实现。
• 提出“有效性编码定理”，证明对于任意$\epsilon > 0$，存在一个统一编码系统，使得在足够大的$n$时，其速率可任意接近有效性容量。
• 使用消息空间上分布的序列族来建模不确定性，并基于这些分布计算期望值，以计算语义信息和容量。

实验结果

研究问题

• RQ1 是否存在一个单一的、可计算的度量，能同时捕捉有序复杂性的计算、描述和分布特征？
• RQ2 如何仅基于具体可度量的概念来形式化定义语义信息，而不依赖于未明确指定的先验知识？
• RQ3 语义信源编码和信道编码的基本极限是什么？它们与所提出的复杂性度量有何关系？
• RQ4 是否存在一个统一的理论框架，将有序复杂性和语义信息理论联系起来？
• RQ5 有效性编码能否在任意接近有效性容量的速率下实现？在何种条件下可以实现？

主要发现

• 所提出的复杂性度量首次满足了有序复杂性度量的所有要求，包括可计算性、在确定性和概率性系统中的一致性，以及对三种复杂性特征的同步捕捉。
• 本文首次基于完全由具体定义的概念，提出了语义信息量的形式化定义，解决了语义信息理论中长期存在的模糊性问题。
• 建立了语义信源编码定理，表明在给定精度水平下，可实现的最小压缩速率等于语义信息内容。
• 证明了语义信道编码定理，表明语义信息的最大可靠传输速率受有效性容量的限制。
• 有效性编码定理表明，对于任意$\epsilon > 0$，存在一个统一编码系统，使得在足够大的$n$时，其速率可任意接近有效性容量，从而在渐近意义上证明了最优性。
• 统一范式成功地将有序复杂性和语义信息理论整合为一体，为生物学、社会学和信息学等跨学科应用提供了基础性框架。