[논문 리뷰] Semantic information, agency, and nonequilibrium statistical physics

Artemy Kolchinsky, David H. Wolpert|arXiv (Cornell University)|2018. 06. 21.

Statistical Mechanics and Entropy인용 수 3

한 줄 요약

이 논문은 시스템이 환경과의 상호작용을 통해 자신의 저엔트로피 상태를 유지하는 데서 기인하는 인과적 역할을 바탕으로 의미 정보의 정량 이론을 제안한다. 비평형 통계역학과의 연결을 통해 의미 정보를 인과적으로 필수적인 구문 정보로 정의함으로써, 기계적 조건과 열역학적 제약 조건을 기반으로 한 기관, 내용, 정보의 가치에 대한 형식적 정의를 가능하게 한다.

ABSTRACT

Information theory provides various measures of correlations holding between the states of two systems, which are sometimes called measures of At the same time, the concept of refers to information which is in some sense meaningful rather than merely correlational. Semantic information plays an important role in many fields -- including biology, cognitive science, artificial intelligence -- and there has been a long-standing interest in a quantitative theory of semantic information. In this work, we introduce such a theory, which defines semantic information as the syntactic information that a physical system has about its environment that is causally necessary for the system to maintain its own existence. We operationalize self-maintenance in terms of the ability of the system to maintain a low entropy state, which we use to make connections to results in nonequilibrium statistical physics. Our approach leads naturally to formal definitions of notions like value of information, content, and agency. Our approach is grounded purely in the intrinsic dynamics of a system coupled to some environment, and is applicable to any physical system.

연구 동기 및 목표

• 외부 해석에 의존하지 않고, 의미 있는 정보와 단순한 상관관계를 구분하는 정량적 의미 정보 이론을 개발하는 것.
• 외부 해석 없이도 물리계에서 의미 정보를 정의하는 데 오랫동안 남아있던 과제를 해결하는 것.
• 내재된 역학과 열역학적 제약 조건을 사용하여 기관, 내용, 정보의 가치 개념을 형식화하는 것.
• 정보이론, 비평형 통계역학, 시스템의 의미의 물리적 기초 간의 다리를 놓는 것.
• 내부 역학과 환경 결합에 기반하여 생물학적 및 인공적 시스템을 포함한 어떤 물리계에도 적용 가능한 프레임워크를 제공하는 것.

제안 방법

• 시스템이 자신의 저엔트로피 상태를 유지하는 데 인과적으로 필수적인, 환경에 대한 구문 정보로 의미 정보를 정의하는 것.
• 지속적인 환경과의 상호작용을 통해 비평형 상태이자 저엔트로피 상태를 유지할 수 있는 능력으로 자가유지를 모델링하는 것.
• 비평형 통계역학 원리를 적용하여 정보 처리의 열역학적 비용과 인과적 구조를 정량화하는 것.
• 시스템이 의미 정보를 사용하여 내부 상태를 조절하고 엔트로피 증가를 저지할 수 있는 능력에 기반해 기관의 형식적 정의를 도출하는 것.
• 의미 정보와 단순한 통계적 상관관계를 구분하기 위해 인과적 필요성 기준을 사용하는 것.
• 시스템의 생존 또는 자가유지에 기여하는 정도로 정보의 가치를 정의하는 것.

실험 결과

연구 질문

• RQ1 의미 정보는 외부 관찰자에 의존하지 않고 순수한 물리적 조건에서 어떻게 형식적으로 정의될 수 있는가?
• RQ2 의미 정보와 시스템의 저엔트로피 상태 유지 간의 열역학적 관계는 무엇인가?
• RQ3 시스템-환경 상호작용의 인과적 구조에서 기관 개념은 어떻게 도출되는가?
• RQ4 물리계에서 의미 정보는 구문 정보 또는 통계적 상관관계와 무엇으로 구별되는가?
• RQ5 의미 정보의 가치는 시스템의 존재 유지에 기여하는 역할에 기반해 어떻게 정량화될 수 있는가?

주요 결과

• 의미 정보는 시스템이 자신의 저엔트로피 상태를 유지하는 데 인과적으로 필수적인, 구문 정보의 부분집합으로 형식적으로 정의된다.
• 이 프레임워크는 의미 정보와 비평형 열역학 사이에 직접적인 연결을 맺어 의미를 물리적 과정에 뿌리내리게 한다.
• 기관은 의미 정보를 사용하여 내부 상태를 조절하고 열역학적 쇠퇴를 저지할 수 있는 시스템의 능력에서 자연스럽게 도출된다.
• 정보의 가치는 시스템의 자가유지에 기여하는 정도로 정량화되며, 엔트로피 조절에 더 큰 인과적 영향을 미치는 정보일수록 가치가 높다.
• 이 이론은 관찰자에 의존하지 않는 통합된 프레임워크를 제공하며, 생물학적 및 인공적 에이전트를 포함한 어떤 물리계에도 적용 가능하다.
• 내용은 인과적 필요성 제약 조건에서 유도된, 시스템의 생존에 인과적으로 관련된 특정 환경 상태로 형식적으로 정의된다.