[논문 리뷰] The structure of information: from probability to homology.

Juan Pablo Vigneaux|arXiv (Cornell University)|2017. 09. 22.

Topological and Geometric Data Analysis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 유한한 난수 변수의 일반화된 구조를 체계화하고 이러한 구조의 동형사상에 대해 코homology가 불변임을 보여줌으로써 정보 이론에 대해 코homological 프레임워크를 제안한다. 이는 타살리 엔트로피의 호모로지적 성격을 확립하고, 상대적으로 자유로운 바 건설과 명시적 $H^1$ 계산을 통해 샤논의 공리에 대한 조합론적 근거를 제공한다.

ABSTRACT

D. Bennequin and P. Baudot introduced a cohomological construction adapted to theory, called information (see The homological nature of Entropy, 2015). Our text serves as a detailed introduction to cohomology, containing the necessary background in probability theory and homological algebra. It makes explicit the link with topos theory, as introduced by Grothendieck, Verdier and their collaborators in the SGA IV. It also contains several new constructions and results. (1) We define generalized structures, as categories of finite random variables related by a notion of extension or refinement; probability spaces are models (or representations) for these general structures. Generalized structures form a category with finite products and coproducts. We prove that cohomology is invariant under isomorphisms of generalized structures. (2) We prove that the relatively-free bar construction gives a projective object for the computation of cohomology. (3) We provide detailed computations of $H^1$ and describe the degenerate cases. (4) We establish the homological nature of Tsallis entropy. (5) We re-interpret Shannon's axioms for a 'measure of choice' in the light of this theory and provide a combinatorial justification for his recurrence formula.

연구 동기 및 목표

• 유한한 난수 변수의 일반화된 구조를 도입하여 정보 이론에 대해 코homological 기반을 마련하기.
• 일반화된 구조의 동형사상에 대해 코homology가 불변임을 입증하여 구조적 안정성을 확보하기.
• 카테고리 이론을 통해 그로텐디크의 SGA IV 프레임워크를 통해 정보 이론과 토포스 이론을 연결하기.
• 타살리 엔트로피에 대한 새로운 호모로지적 해석과 샤논의 반복 공식에 대한 조합론적 근거 제공하기.
• 상대적으로 자유로운 바 건설을 도입하고, 이가 이 맥락에서 코homology 계산을 위한 프로젝티브 도구로 어떻게 기능하는지 분석하기.

제안 방법

• 유한한 난수 변수의 집합과 그 사이의 사상(확장 또는 세분화를 나타냄)으로 구성된 카테고리로서 일반화된 구조를 정의하고, 이들이 유한한 곱과 코곱을 갖는 카테고리가 되도록 구성하기.
• 일반화된 구조의 카테고리에서 코homology 계산을 위해 상대적으로 자유로운 바 건설을 사용하여 프로젝티브 해체를 확보하기.
• $H^1$을 명시적으로 계산하고, 열악한 경우를 특성화하여 첫 번째 코homology 클래스의 구조를 이해하기.
• 코homology 클래스와 엔트로피 측정치 사이의 대응을 확립하고, 특히 타살리 엔트로피가 호모로지적 구성에서 자연스럽게 유도됨을 보여주기.
• 샤논의 공리를 범주론적 및 코hom로지적 제약 조건으로 재해석하고, 바 건설을 통해 그의 반복 공식을 조합론적으로 유도하기.
• SGA IV의 토포스 이론적 개념을 적용하여 정보 시스템의 범주론적 및 논리적 구조를 해석하기.

실험 결과

연구 질문

• RQ1 유한한 난수 변수의 일반화된 구조를 어떻게 범주론적으로 정의할 수 있으며, 이를 유한한 곱과 코곱을 갖는 카테고리로 구성하여 확률적 시스템을 모델링할 수 있는가?
• RQ2 일반화된 구조의 동형사상에 대해 코homology가 불변임은 어떤 방식으로 성립하며, 이는 정보 불변량에 대해 어떤 함의를 갖는가?
• RQ3 상대적으로 자유로운 바 건설이 이 맥락에서 코homology 계산을 위한 프로젝티브 해체로 어떻게 작용하는가?
• RQ4 이 프레임워크 내에서 타살리 엔트로피의 호모로지적 해석은 무엇인가?
• RQ5 샤논의 '선택의 측정'을 위한 공리들이 호모로지적 및 범주론적 구조를 통해 재해석되고 타당화될 수 있는가?

주요 결과

• 일반화된 구조의 동형사상에 대해 코homology가 불변임을 입증하여, 동치인 확률 모델 간에도 코homological 불변량이 안정적으로 유지됨을 보장한다.
• 상대적으로 자유로운 바 건설이 일반화된 구조의 카테고리에서 효과적인 코homology 계산을 가능하게 하는 프로젝티브 객체를 제공한다.
• 명시적인 $H^1$ 계산 결과가 제공되며, 열악한 경우의 상세한 묘사가 포함되어 있어 첫 번째 코homology 클래스의 구조적 제약 조건을 드러낸다.
• 타살리 엔트로피가 호모로지적 성격을 지님을 입증하고, 이는 이 프레임워크 내에서 코homological 구성에서 자연스럽게 유도됨을 보여준다.
• 샤논의 '선택의 측정'을 위한 공리들이 범주론적 용어로 재해석되었으며, 바 건설을 통해 그의 반복 공식에 대한 조합론적 근거가 제시되었다.
• 이 프레임워크는 특히 그로텐디크와 버르디에 의한 SGA IV 형식주의를 통해 정보 이론, 호모로지 대수학, 토포스 이론 간의 깊은 연결 고리를 확립한다.