[논문 리뷰] Information as Distinctions: New Foundations for Information Theory

David Ellerman|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 28인용 수 3

한 줄 요약

이 논문은 정보 이론의 새로운 기반을 분할 논리에 기반하여 제시한다. 여기서 정보는 분할 내 요소 간의 구별(dits)로 정의된다. 논문은 논리적 엔트로피를 구별 수의 정규화된 값으로 유도하고, dit-bit 연결을 통해 비트 기반의 보완적 개념인 샤논 엔트로피가 어떻게 이 개념의 발전으로서 자연스럽게 유도되는지를 보여주며, 상호정보량과 발산 등의 핵심 개념들을 이중 논리 프레임워크를 통해 통합한다.

ABSTRACT

The logical basis for information theory is the newly developed logic of partitions that is dual to the usual Boolean logic of subsets. The key concept is a "distinction" of a partition, an ordered pair of elements in distinct blocks of the partition. The logical concept of entropy based on partition logic is the normalized counting measure of the set of distinctions of a partition on a finite set--just as the usual logical notion of probability based on the Boolean logic of subsets is the normalized counting measure of the subsets (events). Thus logical entropy is a measure on the set of ordered pairs, and all the compound notions of entropy (join entropy, conditional entropy, and mutual information) arise in the usual way from the measure (e.g., the inclusion-exclusion principle)--just like the corresponding notions of probability. The usual Shannon entropy of a partition is developed by replacing the normalized count of distinctions (dits) by the average number of binary partitions (bits) necessary to make all the distinctions of the partition.

연구 동기 및 목표

• 부분집합 논리와 분할 논리의 이중성에 기반하여 정보 이론의 새로운 기반을 확립하는 것.
• 정보를 분할 내의 구별(dits)으로 정의하고, 이러한 구별의 정규화된 수로 논리적 엔트로피를 형식화하는 것.
• 논리적 엔트로피에서 dit 수를 평균 비트 요구량으로 대체함으로써 샤논 엔트로피가 어떻게 자연스럽게 유도되는지를 보여주는 것.
• 상호정보량, 조건부 엔트로피, 발산 등의 핵심 정보이론적 개념들을 단일 논리적 프레임워크 아래 통합하는 것.
• 표준 정보이론적 관계(예: 벤 다이어그램 표현)가 구별의 논리적 구조에서 자연스럽게 유도됨을 보여주는 것.

제안 방법

• 부울 부분집합 논리의 이중으로 분할 논리를 사용하며, 분할은 요소 간의 구별을 나타낸다.
• 논리적 엔트로피 h(p)를 결과에 대해 p_i(1 - p_i)의 합으로 정의하며, 이는 무작위로 선택된 쌍이 다른 블록에 속할 확률을 나타낸다.
• dit-bit 연결을 적용: 논리적 엔트로피는 구별 수(dits)를 세며, 샤논 엔트로피는 이러한 구별을 만들기 위해 필요한 평균 이진 분할 수(비트)를 측정한다.
• 포함-배제 원리와 이중성 원리를 사용하여 논리적 및 샤논 형식의 조건부 엔트로피, 상호정보량, 발산을 유도한다.
• 논리적 발산 d(p||q)를 제곱 차이의 합의 1/2로 정의하며, 이는 dit-bit 연결을 통해 대칭화된 쿨백-라이블러 발산으로 매핑된다.
• 확률 분포와 결합 분포를 사용하여 논리적 엔트로피와 샤논 엔트로피를 비교하며, 동일한 구조적 관계를 보여준다.

실험 결과

연구 질문

• RQ1 정보는 불확실성으로서가 아니라 요소 간의 구별로서 본질적으로 재정의될 수 있는가?
• RQ2 분할 논리는 정보 이론에서 부분집합 논리의 이중 기반을 제공하는 데 어떤 역할을 하는가?
• RQ3 구별 수를 세는 데 기반한 논리적 엔트로피와 비트 요구량에 기반한 샤논 엔트로피 사이의 관계는 무엇인가?
• RQ4 상호정보량과 조건부 엔트로피와 같은 표준 정보이론적 측정치들이 단일 논리적 프레임워크에서 균일하게 도출될 수 있는가?
• RQ5 정규화된 구별 수(dits)와 그들을 만들기 위해 필요한 평균 비트 수(bits) 사이의 정확한 수학적 연결은 무엇인가?

주요 결과

• 논리적 엔트로피는 h(p) = Σ p_i(1 - p_i)로 정의되며, 이는 임의로 선택된 요소 쌍이 분할에 의해 구별될 확률을 나타낸다.
• dit-bit 연결은 논리적 엔트로피(구별 수)를 샤논 엔트로피(평균 비트 수)로 매핑하며, 샤논 엔트로피가 논리적 엔트로피의 보다 정교한 비트 기반 형태임을 보여준다.
• 두 프레임워크 모두에서 상호정보량 m(x,y)는 동일한 구조적 항등식 m(x,y) = h(x) + h(y) - h(x,y)를 만족하며, 벤 다이어그램 표현과 유사하다.
• 조건부 논리적 엔트로피 h(x|y)는 h(x,y) - h(y)로 정의되며, H(x|y) = H(x,y) - H(y)와 유사하게 동일한 대수적 구조를 유지한다.
• 논리적 발산 d(p||q) = ½Σ(p_i - q_i)²는 dit-bit 연결을 통해 대칭화된 쿨백-라이블러 발산 D_s(p||q) = ½[D(p||q) + D(q||p)]로 매핑된다.
• 논문은 모든 표준 정보이론적 항등식(예: 발산의 음이 아닌 성질, 독립 조건)이 논리적 및 샤논 형식 모두에서 동일한 구조적 관계를 유지함을 확립한다.