[논문 리뷰] A Unified Paradigm of Organized Complexity and Semantic Information Theory

Tatsuaki Okamoto|arXiv (Cornell University)|2016. 07. 29.

Computability, Logic, AI Algorithms참고 문헌 30인용 수 6

한 줄 요약

이 논문은 튜링 기계나 $\epsilon$-기계 대신 회로 기반 모델을 사용하여 계산적, 서술적, 분포적 특성을 동시에 포괄하는 통합적이고 계산 가능한 조직적 복잡성의 정의를 제안한다. 엄밀히 정의된 의미 정보의 양을 바탕으로 첫 번째 공식적인 의미 정보 이론을 수립하며, 의미 정보 소스 코딩 정리와 효율성 코딩 정리와 같은 기초 정리를 증명함으로써, 처음으로 조직적 복잡성과 의미 정보 이론을 통합한다.

ABSTRACT

One of the most fundamental problems in science is to define {\it quantitatively} the complexity of organized matters, i.e., {\it organized complexity}. Although many measures have been proposed toward this aim in previous decades, there is no agreed upon definition. This paper presents a new quantitative definition of organized complexity. This definition {\it simultaneously} captures the three major features of complexity: computational (similar to logical depth), descriptional (similar to the Kolmogorov complexity and effective complexity) and distributional (similar to statistical complexity). In addition, the proposed definition is computable and can measure both probabilistic and deterministic forms of objects in a unified manner. The proposed definition is based on circuits rather than Turing machines and $ε$-machines. We give several criteria required for organized complexity measures and show that the proposed definition satisfies all of them for the first time. We then apply this quantitative definition to formulate a {\it semantic information theory}. We present the first formal definition of a {\it semantic information amount}, which is the core concept of the semantic information theory, that is based only on concretely defined notions. Previous semantic information theories defined this amount under some a priori information which is not concretely specified. We then unveil several fundamental properties in the semantic information theory, e.g., a semantic source coding theorem, semantic channel coding theorem, and effectiveness coding theorem. Although the semantic information theory has a long history of research going back more than six decades, there has been no study on its relation to organized complexity. This paper offers the first unified paradigm of organized complexity and semantic information theory.

연구 동기 및 목표

• 조직적 복잡성에 대한 보편적으로 수용된 정량적 정의가 오랫동안 부족한 문제를 해결하기 위해.
• 복잡성의 세 가지 주요 특성—계산적, 서술적, 분포적—을 하나의 일관된 측정치로 통합하기 위해.
• 구체적이고 측정 가능한 개념에 기반한 엄밀히 정의된 의미 정보의 양을 갖춘 공식적인 의미 정보 이론을 수립하기 위해.
• 오랫동안 별개로 연구되어온 조직적 복잡성과 의미 정보 이론 사이의 격차를 메우기 위해.
• 생물학, 사회학, 정보학 등 다학제적 분야에 적용 가능한 기초 프레임워크를 제공하기 위해.

제안 방법

• 튜링 기계나 $\\epsilon$-기계가 아닌 회로 표현 기반의 새로운 복잡성 측정치를 제안하여 계산 가능성과 결정론적 및 확률론적 시스템의 통합적 다루기 가능성을 확보한다.
• 모호하거나 사전에 가정된 정보에 의존하지 않고, 오직 구체적으로 정의된 개념에 기반한 의미 정보의 양에 대한 공식적 정의를 도입한다.
• 효율성 시스템과 효율성 코딩 시스템을 정의하며, 의미 제약 조건 하에서 정보 전송 효율성을 측정하는 데 사용되는 '효율성 용량' $\sf EC$의 개념을 도입한다.
• 의미 소스 코딩 정리와 의미 채널 코딩 정리를 수립하여, 의미 충실도 제약 조건 하에서 최적의 압축 및 전송 속도를 보여준다.
• 임의의 $\epsilon > 0$에 대해, 효과 용량에 $\epsilon$ 이내로 수렴하는 균일한 코딩 시스템이 존재함을 증명하는 '효율성 코딩 정리'를 도입한다.
• 메시지 공간에 대한 분포의 순차적 가족을 사용하여 불확실성을 모델링하고, 이러한 분포 위에서의 기대값을 도출하여 의미 정보와 용량을 계산한다.

실험 결과

연구 질문

• RQ1 일관된 계산 가능한 측정치가 조직적 복잡성의 계산적, 서술적, 분포적 측면을 동시에 포괄할 수 있는가?
• RQ2 의미 정보를 명시적이고 측정 가능한 개념에만 기반하여 공식적으로 정의할 수 있으며, 불명확한 사전 지식에 의존하지 않을 수 있는가?
• RQ3 의미 소스 및 채널 코딩의 기본 한계는 무엇이며, 제안된 복잡성 측정치와 어떻게 관련이 있는가?
• RQ4 조직적 복잡성과 의미 정보 이론을 연결하는 통합 이론적 프레임워크가 존재하는가?
• RQ5 효율성 코딩은 효과 용량에 임의로 가까운 속도를 달성할 수 있으며, 어떤 조건에서 그러한 성능을 내는가?

주요 결과

• 제안된 복잡성 측정치는 처음으로 조직적 복잡성 측정치가 요구하는 모든 기준을 충족하며, 계산 가능성, 결정론적 및 확률론적 시스템 간의 일관성, 그리고 세 가지 복잡성 특성의 동시 포괄를 보장한다.
• 논문은 오직 구체적으로 정의된 개념에 기반한 첫 번째 공식적 의미 정보의 양 정의를 제시하여, 의미 정보 이론에서 오랫동안 지속된 모호함을 해결한다.
• 의미 소스 코딩 정리가 수립되어, 주어진 정밀도 수준에서 최소 달성 가능한 압축 속도가 의미 정보의 양과 일치함을 보여준다.
• 의미 채널 코딩 정리가 증명되어, 의미 정보의 최대 신뢰성 있는 전송 속도가 효과 용량에 의해 제한됨을 입증한다.
• 효율성 코딩 정리는 임의의 $\epsilon > 0$에 대해, 충분히 큰 $n$에 대해 효과 용량에 $\epsilon$ 이내로 수렴하는 균일한 코딩 시스템이 존재함을 보여주며, 점근적 영역에서의 최적성을 입증한다.
• 통합된 패러다임은 조직적 복잡성과 의미 정보 이론을 성공적으로 통합하여, 생물학, 사회학, 정보학 등 다학제적 응용에 기초 프레임워크를 제공한다.