[論文レビュー] Divergence, Entropy, Information: An Opinionated Introduction to Information Theory

Philip S. Chodrow|arXiv (Cornell University)|Aug 24, 2017

Computability, Logic, AI Algorithms参考文献 9被引用数 3

ひとこと要約

本稿は、Kullback-Leibler 散発を基礎的概念として採用し、情報理論の直感的で概念的優先の導入を提示する。エントロピーと相互情報量は、すべてこの散発から導出される。情報理論的量は、学習、予測、不確実性に関する直感的な考えを明確に定式化することを強調しており、データ処理不等式といった主要な結果は、処理を通じて情報が劣化することを示している。

ABSTRACT

Information theory is a mathematical theory of learning with deep connections with topics as diverse as artificial intelligence, statistical physics, and biological evolution. Many primers on information theory paint a broad picture with relatively little mathematical sophistication, while many others develop specific application areas in detail. In contrast, these informal notes aim to outline some elements of the information-theoretic "way of thinking," by cutting a rapid and interesting path through some of the theory's foundational concepts and results. They are aimed at practicing systems scientists who are interested in exploring potential connections between information theory and their own fields. The main mathematical prerequisite for the notes is comfort with elementary probability, including sample spaces, conditioning, and expectations. We take the Kullback-Leibler divergence as our most basic concept, and then proceed to develop the entropy and mutual information. We discuss some of the main results, including the Chernoff bounds as a characterization of the divergence; Gibbs' Theorem; and the Data Processing Inequality. A recurring theme is that the definitions of information theory support natural theorems that sound ``obvious'' when translated into English. More pithily, ``information theory makes common sense precise.'' Since the focus of the notes is not primarily on technical details, proofs are provided only where the relevant techniques are illustrative of broader themes. Otherwise, proofs and intriguing tangents are referenced in liberally-sprinkled footnotes. The notes close with a highly nonexhaustive list of references to resources and other perspectives on the field.

研究の動機と目的

• 連続的状況における微分エントロピーの問題を回避するため、エントロピーではなくKullback-Leibler散発を出発点とする情報理論の再構築を目的とする。
• 情報理論的概念が表現に依存しない根本的な不確実性と学習可能性の尺度を提供することを示す。
• データ処理不等式のような中心的な結果が、情報が処理を通じて劣化するという直感的考えを数学的に厳密に形式化することを示す。
• 統計学、物理学、生物学といった広範な分野とつなげるために、情報理論が学習可能性と予測可能性を定量化する役割を強調し、その役割を明らかにする。
• 技術的導出よりも概念的明確性を重視することで、システム科学者が自らの分野に情報理論的思考を応用するのを支援することを目的とする。

提案手法

• Kullback-Leibler散発を主な研究対象とし、確率分布間の差の基本的尺度として位置づける。
• 散発からエントロピーと相互情報量を導出し、それらを公理的出発点として扱うのではなく、自然に出現するものとして示す。
• Chernoffの不等式への応用を通じて、散発と大偏差、集中測度の理論を結びつける。
• Gibbsの不等式を用いて散発の非負性を確立し、データ処理不等式を証明する。
• 条件付きエントロピーと相互情報量の連鎖則を用いて、データ処理を通じて情報が増加しないことを証明する。
• 散発の座標不変性（微分エントロピーとは異なり）を活用し、離散的および連続的確率空間の両方において、その基礎的役割を正当化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ情報理論においてエントロピーよりもKullback-Leibler散発がより適切な基礎的概念とされるのか？
• RQ2 散発の表現不変性は、連続分布における微分エントロピーの概念的問題をどのように解決するのか？
• RQ3 データ処理不等式は、情報が処理を通じて劣化するという直感的考えを、どのように形式化するのか？
• RQ4 相互情報量やエントロピーといった情報理論的概念は、複雑系における学習と予測可能性をどのように定量化できるのか？
• RQ5 情報理論、統計的推論、および熱力学第二法則との間に、深い関係は存在するのか？

主な発見

• Kullback-Leibler散発は、離散的および連続的分布の両方において、定義され非負である。これに対して微分エントロピーは負になる可能性があり、滑らかな再パラメータ化に対して不変でない。
• データ処理不等式により、変数ZがMarkov連鎖を通じてYから得られる場合、相互情報量I(X,Z)はI(X,Y)を超えないことが証明され、情報が時間経過とともに劣化するという考えを形式化する。
• Z = g(Y) のとき、不等式 $ I(X,Z) \leq I(X,Y) $ が成り立ち、処理によって情報が減少することを示しており、等号成立は変換が完全な情報回復に十分である場合に限る。
• 散発に基づくアプローチにより、離散的および連続的システムを統一的に扱うことができ、より強固で一般性の高い情報理論が可能になる。
• エントロピーおよび相互情報量といった情報理論的量は、不確実性と依存性の根本的で表現に依存しない尺度を提供する。
• 本稿では、データ処理不等式と熱力学第二法則との間に概念的類似性を確立し、両者とも時間の経過に伴う秩序または情報の喪失の自然な傾向を記述している。