[論文レビュー] Information Inequalities for Joint Distributions, with Interpretations and Applications

Mokshay Madiman, Prasad Tetali|arXiv (Cornell University)|Dec 31, 2008

Wireless Communication Security Techniques参考文献 38被引用数 4

ひとこと要約

本稿は、部分集合のエントロピーに基づく連鎖エントロピーの上界および下界を、分数カバーとパッキングを用いて確立することで、サブモジュラー関数論を用いた連合エントロピーのための統一的枠組みを提示する。これはシャノンの連鎖則、ハーンの不等式、フジシゲの不等式、シアーの不等式を一般化する。組合せ論、行列式、仮説検定への応用を含む。

ABSTRACT

Upper and lower bounds are obtained for the joint entropy of a collection of random variables in terms of an arbitrary collection of subset joint entropies. These inequalities generalize Shannon's chain rule for entropy as well as inequalities of Han, Fujishige and Shearer. A duality between the upper and lower bounds for joint entropy is developed. All of these results are shown to be special cases of general, new results for submodular functions-- thus, the inequalities presented constitute a richly structured class of Shannon-type inequalities. The new inequalities are applied to obtain new results in combinatorics, such as bounds on the number of independent sets in an arbitrary graph and the number of zero-error source-channel codes, as well as new determinantal inequalities in matrix theory. A new inequality for relative entropies is also developed, along with interpretations in terms of hypothesis testing. Finally, revealing connections of the results to literature in economics, computer science, and physics are explored.

研究の動機と目的

• シャノンの連鎖則、ハーンの不等式、シアーの補題といった古典的エントロピー不等式を、一つの整合的枠組みに一般化すること。
• カバー度および分数ハイパーグラフ理論を用いて、任意の部分集合の集合に基づく連合エントロピーの新たな上界および下界を確立すること。
• これらの不等式がサブモジュラー関数論から自然に生じることを示し、情報理論および組合せ論における多様な結果を統一すること。
• 導出された不等式を、組合せ論（例えば独立集合やゼロエラー符号の数の数え上げ）や行列式、仮説検定における相対エントロピーの新しい問題に応用すること。
• 条件付きエントロピー連鎖則関数がサブモジュラーでないことを示し、サブモジュラリティを越えたより深い制約の限界を明らかにすること。

提案手法

• ハイパーグラフを用いて部分集合の依存関係をモデル化し、分数カバーとパッキングを導入することで、連合エントロピー不等式における部分集合の依存関係を扱う。
• サブモジュラー集合関数に対する一般不等式を導入し、これにより以降のすべてのエントロピー不等式を導出する基盤を提供する。
• 強分数形および強度数形の2つの主要な形態を導出し、これらは命題Iにおける弱度数形を一般化する。
• 一般サブモジュラー不等式をエントロピー関数に適用し、部分集合の度数で重み付けされた $ H(X_{[n]}) $ と $ H(X_s) $、$ H(X_s|X_{s^c}) $ の間の境界を導出する。
• 上界と下界の双対性を用いることで、エントロピー不等式における構造的対称性を明らかにする。
• 結果をエントロピーに基づく数え上げを用いた組合せ論に応用し、例えばグラフにおける独立集合の数やゼロエラー源・チャネル符号の数の上限を求める。

実験結果

リサーチクエスチョン

• RQ1 ハーンの不等式やシアーの不等式といった古典的エントロピー不等式は、一貫した理論的枠組みの下に統一可能か？
• RQ2 任意の部分集合の集合に対して、部分集合エントロピーの観点から連合エントロピーの最もタイトな上界および下界は何か？
• RQ3 分数ハイパーグラフカバーとパッキングは、情報理論的不等式およびサブモジュラー関数とどのように関係するか？
• RQ4 サブモジュラリティを超えたエントロピー関数の特徴付けはどの程度可能であり、情報理論的境界にどのような意味を持つのか？
• RQ5 これらの一般化されたエントロピー不等式から、どのような新しい組合せ論的および行列式論的結果が得られるか？

主な発見

• 本稿は、シャノンの連鎖則、ハーンの不等式、シアーの補題を特別な場合として含む、情報不等式の新クラスを確立する。
• 連合エントロピーの上界と下界の間に双対性が明らかになり、境界は部分集合集合におけるインデックスの最小および最大度数で表現される。
• 主不等式はサブモジュラー関数に関する一般結果の系として導出され、統一的かつ強力な理論的基盤を提供する。
• 境界はタイトであり、離散的および連続的（微分）エントロピーの両方に適用可能で、連続的ケースでは分数分割が必要である。
• 結果として、新しい組合せ論的境界が得られる。例えば、任意のグラフにおける独立集合の数やゼロエラー源・チャネル符号の数の上限が得られる。
• 条件付きエントロピー連鎖則関数 $ \bar{\tt e}(s) = H(X_s|X_{<s}) $ がサブモジュラーでないという反例が提示され、エントロピーにおけるサブモジュラー近似の限界が強調される。