[論文レビュー] A Unified Paradigm of Organized Complexity and Semantic Information Theory

Tatsuaki Okamoto|arXiv (Cornell University)|Jul 29, 2016

Computability, Logic, AI Algorithms参考文献 30被引用数 6

ひとこと要約

本稿は、チューリングマシンや$\epsilon$-マシンの代わりに回路ベースのモデルを用いることで、計算的・記述的・分布的特徴を同時に捉える、統一的かつ計算可能な組織的複雑性の定義を提示する。形式的意味的情報理論の基礎を築くために、厳密に定義された意味的情報量を導入し、意味的ソース符号化定理と有効性符号化定理といった基礎的定理を証明することで、初めて組織的複雑性と意味的情報理論を統合する。

ABSTRACT

One of the most fundamental problems in science is to define {\it quantitatively} the complexity of organized matters, i.e., {\it organized complexity}. Although many measures have been proposed toward this aim in previous decades, there is no agreed upon definition. This paper presents a new quantitative definition of organized complexity. This definition {\it simultaneously} captures the three major features of complexity: computational (similar to logical depth), descriptional (similar to the Kolmogorov complexity and effective complexity) and distributional (similar to statistical complexity). In addition, the proposed definition is computable and can measure both probabilistic and deterministic forms of objects in a unified manner. The proposed definition is based on circuits rather than Turing machines and $ε$-machines. We give several criteria required for organized complexity measures and show that the proposed definition satisfies all of them for the first time. We then apply this quantitative definition to formulate a {\it semantic information theory}. We present the first formal definition of a {\it semantic information amount}, which is the core concept of the semantic information theory, that is based only on concretely defined notions. Previous semantic information theories defined this amount under some a priori information which is not concretely specified. We then unveil several fundamental properties in the semantic information theory, e.g., a semantic source coding theorem, semantic channel coding theorem, and effectiveness coding theorem. Although the semantic information theory has a long history of research going back more than six decades, there has been no study on its relation to organized complexity. This paper offers the first unified paradigm of organized complexity and semantic information theory.

研究の動機と目的

• 組織的複雑性の普遍的に受け入れられた定量的定義が長年にわたり欠落しているという問題を解決すること。
• 計算的・記述的・分布的の3つの主要な複雑性の特徴を、卉体的で整合性のある測度に統合すること。
• 具体的で測定可能な概念に基づいて、明確に定義された意味的情報量を有する形式的意味的情報理論を確立すること。
• 長年にわたり独立して研究されてきた組織的複雑性と意味的情報理論の間のギャップを埋めること。
• 生物学、社会学、情報学などの異分野的分野に応用可能な基礎的フレームワークを提供すること。

提案手法

• チューリングマシンや$\epsilon$-マシンの代わりに回路表現に基づく新しい複雑性測度を提案し、計算可能性を実現するとともに、決定的および確率的システムの両方を統一的に扱えるようにする。
• 曖昧な仮定や事前知識に依存しない、具体的に定義された概念のみに依拠する意味的情報量の形式的定義を導入する。
• 有効性システムと有効性符号化システムを定義し、意味的制約下での情報伝送効率の尺度として「有効性容量」$\sf EC$の概念を導入する。
• 意味的ソース符号化定理と意味的チャネル符号化定理を確立し、意味的忠実度制約下での最適な圧縮および伝送レートを示す。
• 任意の$\epsilon > 0$に対して、ある一様符号化システムが存在し、十分に大きな$n$に対して有効性容量から$\epsilon$以内のレートを達成できることを示す「有効性符号化定理」を証明する。
• メッセージ空間上の分布の逐次的族を用いて不確実性をモデル化し、これらの分布上の期待値を計算することで意味的情報量と容量を導出する。

実験結果

リサーチクエスチョン

• RQ1 1つの計算可能な測度が、組織的複雑性の計算的・記述的・分布的側面を同時に捉えることができるか？
• RQ2 曖昧な事前知識に依存せず、具体的で測定可能な概念のみを用いて意味的情報を形式的に定義できるか？
• RQ3 意味的ソース符号化とチャネル符号化の根本的限界は何か？また、それらは提案された複雑性測度とどのように関係するか？
• RQ4 組織的複雑性と意味的情報理論を結びつける統一的理論的枠組みは存在するか？
• RQ5 有効性符号化は、任意の$\epsilon > 0$に対して、有効性容量に$\epsilon$以内に到達するレートを達成できるか？また、その条件は何か？

主な発見

• 提案された複雑性測度は、初めてとして、計算可能性、決定的および確率的システム間の一貫性、および3つの複雑性特徴の同時捉えを満たす。
• 本稿は、曖昧さが長年にわたり存在していた意味的情報理論における、具体的に定義された概念にのみ依拠する意味的情報量の最初の形式的定義を提示する。
• 意味的ソース符号化定理が確立され、与えられた精度レベル下で達成可能な最小圧縮レートが、意味的情報量に等しいことを示した。
• 意味的チャネル符号化定理が証明され、意味的情報の最大信頼性のある伝送レートが有効性容量によって上限づけられることを示した。
• 有効性符号化定理により、任意の$\epsilon > 0$に対して、十分に大きな$n$に対して有効性容量から$\epsilon$以内のレートを達成できる一様符号化システムが存在することを示し、漸近的条件下での最適性を証明した。
• 統一されたパラダイムは、生物学、社会学、情報学における異分野的応用に向けた基礎的フレームワークを提供する形で、組織的複雑性と意味的情報理論を効果的に統合した。