[논문 리뷰] Counting Distinctions: On the Conceptual Foundations of Shannon's Information Theory

David Ellerman|ArXiv.org|2009. 02. 11.

Advanced Algebra and Logic참고 문헌 30인용 수 5

한 줄 요약

이 논문은 샤논 정보이론의 이원적 기초로 논리적 정보이론을 도입한다. 여기서 정보는 평균 코드 길이가 아니라 분할(partition) 내의 구분(distinguished, ordered pairs of distinct elements)으로 개념화된다. 논리적 엔트로피는 분할 내의 구분 수를 정규화한 것으로 정의되며, 이는 샤논 엔트로피보다 개념적으로 우선함을 보여준다. 샤논 엔트로피는 동일한 구분을 이루기 위해 필요한 평균 이진 분할의 수를 세는 것이다.

ABSTRACT

Categorical logic has shown that modern logic is essentially the logic of subsets (or "subobjects"). Partitions are dual to subsets so there is a dual logic of partitions where a "distinction" [an ordered pair of distinct elements (u,u') from the universe U ] is dual to an "element". An element being in a subset is analogous to a partition p on U making a distinction, i.e., if u and u' were in different blocks of p. Subset logic leads to finite probability theory by taking the (Laplacian) probability as the normalized size of each subset-event of a finite universe. The analogous step in the logic of partitions is to assign to a partition the number of distinctions made by a partition normalized by the total number of ordered pairs |UxU| from the finite universe. That yields a notion of "logical entropy" for partitions and a "logical information theory." The logical theory directly counts the (normalized) number of distinctions in a partition while Shannon's theory gives the average number of binary partitions needed to make those same distinctions. Thus the logical theory is seen as providing a conceptual underpinning for Shannon's theory based on the logical notion of "distinctions." (forthcoming in Synthese)

연구 동기 및 목표

• 클래식 확률의 부분집합 기반 논리와 대칭되는 분할 내의 '구분' 개념에 기반한 정보이론의 개념적 기초를 확립한다.
• 요소 간의 '구분'이라는 더 직관적인 개념에 기반하여 샤논 정보이론의 개념적 모호함을 해결한다.
• 분할 내 정규화된 구분 수를 직접 세는 새로운 정보 측정법인 논리적 엔트로피를 개발한다.
• 분할 기반 정보의 통합적 프레임워크를 통해 논리적 엔트로피, 블록 수 엔트로피, 샤논 엔트로피 간의 관계를 명확히 한다.
• 논리적 엔트로피가 샤논 엔트로피보다 더 기본적이고 원자적인 정보 측정법임을 보여주며, 이는 이진 분할에 기반한 유도된 측정법보다 더 본질적인 정보를 반영한다.

제안 방법

• 유한 집합 U 위의 분할을 상호배타적인 블록들의 집합으로 정의하며, 구분(dits)은 서로 다른 블록에서 온 순서쌍 (u, u')으로 정의한다.
• 논리적 엔트로피 h(π) = |dit(π)| / |U × U|를 정의하여, 분할 π 내의 구분 수를 정규화한 것으로 한다.
• 부분집합 논리(집합 내 요소)와 분할 논리(분할 내 구분) 간의 이원성을 수립하며, 'dit'을 정보의 논리적 원자로 간주한다.
• 임의의 두 요소가 구분되는 확률에서 유도된 공식 h(p) = 1 - Σp_i²를 유도한다.
• 논리적 엔트로피를 샤논 엔트로피 H(π) = Σp_B log(1/p_B) 및 블록 수 엔트로피 H_m(π) = Π(1/p_B)^{p_B}와 비교하여 상호관계를 분석한다.
• 동전 무게 측정 예제와 검색 해석을 통해 논리적 엔트로피가 실제 구분 수를 측정하는 데 쓰이며, 샤논 엔트로피는 필요한 최소 이진 질문 수를 측정하는 데 쓰임을 설명한다.

실험 결과

연구 질문

• RQ1 정보이론을 부분집합이나 사건이 아닌 분할 내의 '구분' 개념에 기반하여 재정립할 수 있는가?
• RQ2 논리적 엔트로피(정규화된 구분 수)와 샤논 엔트로피(이진 분할 수의 평균) 사이의 개념적·수학적 관계는 무엇인가?
• RQ3 논리적 엔트로피가 샤논 엔트로피보다 더 기본적인 정보 측정법이 될 수 있는가? 이는 구분 수를 직접 세기 때문이다.
• RQ4 분할된 집합의 맥락에서 논리적 엔트로피, 블록 수 엔트로피, 샤논 엔트로피의 세 가지 엔트로피 측정법은 수학적·개념적으로 어떻게 관련되어 있는가?
• RQ5 독립성과 상호정보량은 논리적 엔트로피 프레임워크에서 어떤 역할을 하는가? 샤논 공식과 비교했을 때 어떻게 다른가?

주요 결과

• 논리적 엔트로피 h(π)는 분할 π 내의 정규화된 구분 수로 정의되며, h(π) = 1 - Σp_i²로 주어진다. 이는 U×U에서 임의로 선택한 순서쌍이 π에 의해 구분되는 확률과 같다.
• 4개 요소로 이루어진 집합에서 이산 분할(discrete partition)의 논리적 엔트로피는 3/4이며, 이는 16개의 순서쌍 중 12개가 서로 다른 것을 의미한다. 이는 구분 수를 직접 세는 것을 보여준다.
• 블록 B에 대해 논리적 엔트로피 h(B)와 샤논 엔트로피 H(B) 사이의 관계는 h(B) = 1 - 1/2^H(B)로 주어지며, 이는 논리적 엔트로피가 샤논 엔트로피의 비선형 변환임을 보여준다.
• 블록 수 엔트로피 H_m(π)는 역 블록 확률의 곱적 기대값이며, H_m(π) = 2^H(π)를 통해 샤논 엔트로피와 관련되어 있다. 즉, 블록 수 엔트로피는 샤논 엔트로피의 지수함수이다.
• 논리적 엔트로피, 블록 수 엔트로피, 샤논 엔트로피는 모두 동일한 기초 정보를 다른 방식으로 측정하는 것임을 보여주며, 각각은 구분 수 세기, 이진 분할 수 세기, 블록 확률 세기이다.
• 논리적 엔트로피가 샤논 엔트로피보다 더 직관적이고 기본적인 정보 측정법임을 입증한다. 이는 정보를 정의하는 데 쓰이는 구분 수를 직접 세기 때문이다. 반면 샤논 엔트로피는 알고리즘적 검색 과정에서 파생된 측정법이다.