[論文レビュー] Information as Distinctions: New Foundations for Information Theory

David Ellerman|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 28被引用数 3

ひとこと要約

この論文は、情報が分割内の要素間の区別として定義される分割論理に基づく情報理論の新しい基盤を提示する。情報は区別（dits）として定義され、論理的エントロピーはそれらの区別の正規化された数え上げとして導出される。また、dit-bit 接続を通じて、ビットベースの精錬としてのシャノンエントロピーが自然に導かれ、相互情報量や発散といった主要な概念が二重論理フレームワークによって統一される。

ABSTRACT

The logical basis for information theory is the newly developed logic of partitions that is dual to the usual Boolean logic of subsets. The key concept is a "distinction" of a partition, an ordered pair of elements in distinct blocks of the partition. The logical concept of entropy based on partition logic is the normalized counting measure of the set of distinctions of a partition on a finite set--just as the usual logical notion of probability based on the Boolean logic of subsets is the normalized counting measure of the subsets (events). Thus logical entropy is a measure on the set of ordered pairs, and all the compound notions of entropy (join entropy, conditional entropy, and mutual information) arise in the usual way from the measure (e.g., the inclusion-exclusion principle)--just like the corresponding notions of probability. The usual Shannon entropy of a partition is developed by replacing the normalized count of distinctions (dits) by the average number of binary partitions (bits) necessary to make all the distinctions of the partition.

研究の動機と目的

• 部分集合論理と分割論理の双対性に基づき、情報理論の新しい基盤を確立すること。
• 分割における区別（dits）として情報の定義をし、論理的エントロピーをそのような区別の正規化された数え上げとして形式化すること。
• 論理的エントロピーからビット要件に置き換えることで、シャノンエントロピーが自然に導かれる仕組みを示すこと。
• 相互情報量、条件付きエントロピー、発散といった主要な情報理論的概念を、単一の論理的枠組みで統一すること。
• 標準的な情報理論的関係（例：ベン図による表現）が、区別の論理的構造から自然に導かれるということを示すこと。

提案手法

• ブール部分集合論理の双対として分割論理を用い、分割は要素間の区別を表す。
• 論理的エントロピー h(p) を、結果の各 p_i(1 - p_i) の和として定義し、これはランダムに選ばれた要素のペアが異なるブロックに属する確率を表す。
• dit-bit 接続を適用：論理的エントロピーは区別（dits）の数を数えるが、シャノンエントロピーはそれらを区別するために必要な平均ビット数を測定する。
• 包含除法則と双対性の原則を用いて、論理的およびシャノン形式の条件付きエントロピー、相互情報量、発散を導出する。
• 論理的発散 d(p||q) を、二乗差の和の半分として表現し、これにより dit-bit 接続を通じて対称化されたカルバック・ライブラーダ発散にマッピングされる。
• 確率分布および結合分布を用いて論理的エントロピーとシャノンエントロピーを比較し、同一の構造的関係が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 情報は不確実性としてではなく、要素間の区別として根本的に再定義可能か？
• RQ2 分割論理は、情報理論における部分集合論理の双対的基盤を果たす役割を果たすか？
• RQ3 区別の数え上げに基づく論理的エントロピーと、ビット要件に基づくシャノンエントロピーの関係は何か？
• RQ4 相互情報量や条件付きエントロピーといった標準的な情報理論的測度が、一様な論理的枠組みから一貫して導出可能か？
• RQ5 正規化された区別数（dits）とそれらを実現するために必要な平均ビット数（bits）との間の明確な数学的関係は何か？

主な発見

• 論理的エントロピーは h(p) = Σ p_i(1 - p_i) として定義され、これはランダムに選ばれた要素ペアが分割によって区別される確率を表す。
• dit-bit 接続により、論理的エントロピー（区別の数）がシャノンエントロピー（平均ビット数）にマッピングされ、シャノンエントロピーが論理的エントロピーのビットベースの精錬版として自然に導かれる。
• 両フレームワークにおける相互情報量 m(x,y) は、同じ構造的恒等式 m(x,y) = h(x) + h(y) - h(x,y) を満たし、ベン図の表現と一致する。
• 条件付き論理的エントロピー h(x|y) は h(x,y) - h(y) として定義され、H(x|y) = H(x,y) - H(y) と類似した代数的構造を保ち、同じ形式的構造を有する。
• 論理的発散 d(p||q) = ½Σ(p_i - q_i)² は、dit-bit 接続により、対称化されたカルバック・ライブラーダ発散 D_s(p||q) = ½[D(p||q) + D(q||p)] にマッピングされる。
• 本論文は、すべての標準的な情報理論的恒等式（例：発散の非負性、独立性条件）が、論理的およびシャノン形式の両方で成り立つことを確立しており、同一の構造的関係が保たれている。