[論文レビュー] Counting Distinctions: On the Conceptual Foundations of Shannon's Information Theory

David Ellerman|ArXiv.org|Feb 11, 2009

Advanced Algebra and Logic参考文献 30被引用数 5

ひとこと要約

この論文は、情報の平均符号長ではなく、部分集合ではなく区画（partition）内の区別（順序付き異なる要素のペア）として情報の概念を捉える、シャノンの情報理論の双対的基盤として論理的情報理論を導入する。情報は区画内の区別の正規化された数として定義される論理的エントロピーとして定義され、これはシャノンのエントロピーの概念的優位性を示し、同じ区別を達成するために必要な平均的な二値区画の数を数えるものである。

ABSTRACT

Categorical logic has shown that modern logic is essentially the logic of subsets (or "subobjects"). Partitions are dual to subsets so there is a dual logic of partitions where a "distinction" [an ordered pair of distinct elements (u,u') from the universe U ] is dual to an "element". An element being in a subset is analogous to a partition p on U making a distinction, i.e., if u and u' were in different blocks of p. Subset logic leads to finite probability theory by taking the (Laplacian) probability as the normalized size of each subset-event of a finite universe. The analogous step in the logic of partitions is to assign to a partition the number of distinctions made by a partition normalized by the total number of ordered pairs |UxU| from the finite universe. That yields a notion of "logical entropy" for partitions and a "logical information theory." The logical theory directly counts the (normalized) number of distinctions in a partition while Shannon's theory gives the average number of binary partitions needed to make those same distinctions. Thus the logical theory is seen as providing a conceptual underpinning for Shannon's theory based on the logical notion of "distinctions." (forthcoming in Synthese)

研究の動機と目的

• 古典的確率論の集合に基づく論理とは双対的な、区画内の区別に基づく情報理論の概念的基盤を確立すること。
• 要素間の区別というより直感的な概念に根ざすことで、シャノンの情報理論における概念的曖昧さを解消すること。
• 区画内の正規化された区別の直接的な数え上げに基づく、新たな情報測度「論理的エントロピー」を構築すること。
• 区画に基づく情報の統一的枠組みを通じて、論理的エントロピー、ブロック数エントロピー、シャノンのエントロピーの関係を明確にすること。
• 論理的エントロピーが、シャノンのエントロピーが二値区画によるアルゴリズム的探索から導かれるのに対し、情報のより基本的で原子的測度であることを示すこと。

提案手法

• 有限集合 U 上の区画を、互いに素なブロックの集合として定義し、区別（dits）を異なるブロックに属する要素の順序付きペア (u, u') として定義する。
• 論理的エントロピー h(π) = |dit(π)| / |U × U| を、区画 π 内の区別の正規化された数として定義する。
• 集合論理（要素が集合に属する）と区画論理（区別が区画に属する）の間の双対性を確立し、'dit' を情報の論理的原子として定義する。
• ランダムに選ばれた要素ペアが区別される確率から、論理的エントロピーの公式 h(p) = 1 - Σp_i² を導出する。
• シャノンのエントロピー H(π) = Σp_B log(1/p_B) とブロック数エントロピー H_m(π) = Π(1/p_B)^{p_B} を比較し、それらの関係を示す。
• コインの重さを測る例と検索解釈を用いて、論理的エントロピーが区別の実際の数を測るのに対し、シャノンのエントロピーが必要な最小の二値質問数を測ることを説明する。

実験結果

リサーチクエスチョン

• RQ1 情報理論を、部分集合や事象に基づくのではなく、区画内の区別という概念に基づいて再構築することは可能か？
• RQ2 論理的エントロピー（正規化された区別数）とシャノンのエントロピー（二値区画の平均数）の間の概念的および数学的関係は何か？
• RQ3 区別を直接数えるという点で、論理的エントロピーがシャノンのエントロピーよりもより基本的な情報測度として機能できるか？
• RQ4 区画された集合の文脈において、三つのエントロピー測度—論理的、ブロック数、シャノン—は数学的および概念的にどのように関係しているか？
• RQ5 独立性と相互情報量は論理的エントロピー枠組みにおいて果たす役割は何か？また、シャノンの定式化と比べてどう異なるか？

主な発見

• 論理的エントロピー h(π) は、区画 π 内の区別（dits）の正規化された数として定義され、h(π) = 1 - Σp_i² で与えられる。これは、U×U からランダムに選ばれた順序付きペアが π によって区別される確率に等しい。
• 4要素の集合に対して、離散的区画の論理的エントロピーは 3/4 であり、16 個の順序付きペアのうち 12 個が異なることを示しており、区別の直接的な数え上げが行われている。
• ブロック B に対して、論理的エントロピー h(B) とシャノンのエントロピー H(B) の関係は h(B) = 1 - 1/2^H(B) で与えられ、論理的エントロピーがシャノンのエントロピーの非線形変換であることが示される。
• ブロック数エントロピー H_m(π) は、逆ブロック確率の乗法的期待値として定義され、H_m(π) = 2^H(π) によりシャノンのエントロピーと関係づけられ、ブロック数エントロピーはシャノンのエントロピーの指数関数であることが示される。
• 論理的エントロピー、ブロック数エントロピー、シャノンのエントロピーの三つが、いずれも同じ情報の本質的側面—区別の数え上げ、二値区画の数え上げ、ブロック確率の数え上げ—を測る同等の方法であることが示された。
• 論理的エントロピーが、情報が定義される区別の直接的な数え上げに基づくため、シャノンのエントロピーが二値区画によるアルゴリズム的探索から導かれるのとは対照的に、より直感的で基礎的な情報測度であることが確立された。