[論文レビュー] Three tutorial lectures on entropy and counting

David Galvin|arXiv (Cornell University)|Jun 30, 2014

Limits and Structures in Graph Theory参考文献 43被引用数 31

ひとこと要約

本稿は、エントロピーを組合せ的数え上げの道具として用いるためのチュートリアルを提示する。シャノンエントロピーが確率的推論を通じて離散的集合のサイズの上限を与える仕組みを示し、マッチング、独立集合、グラフ準同型、反鎖集合といった問題に応用する。主な結果として、正則な二部グラフにおける準同型の数に対するタイトな上限や、0-1行列のパーマネントを最大化する際の改良された推定値が得られる。

ABSTRACT

We explain the notion of the {\em entropy} of a discrete random variable, and derive some of its basic properties. We then show through examples how entropy can be useful as a combinatorial enumeration tool. We end with a few open questions.

研究の動機と目的

• 確率的推論を用いて、組合せ的に定義された集合のサイズを推定するためのエントロピーの利用法を紹介すること。
• 特にシェーラーの補題と劣加法性を含むエントロピー不等式が、極値組合せ論においてタイトな上限を導く仕組みを示すこと。
• マッチング、独立集合、パーマネントに関する既知の結果を、エントロピーに基づく証明によって統一的かつ解釈すること。
• 特に正則グラフにおける準同型とマッチングに関する、エントロピーに基づく数え上げにおける未解決問題を提示すること。
• 情報理論的手法を応用するための、組合せ論およびグラフ理論の研究者向けの自己完結型チュートリアルを提供すること。

提案手法

• 離散確率変数 $ X $ のエントロピーを $ H(X) = ∑_x -p(x)\log p(x) $ として定義し、$ 0\log 0 = 0 $ とし、2を底とする対数を用いる。
• エントロピーの基本的性質を確立する：劣加法性、条件付きエントロピー、およびジョイン卜変数のエントロピーを周辺エントロピーで上界するシェーラーの補題。
• サイズ $ n $ の集合上の一様分布が最大エントロピー $ \log_2 n $ を達成することを用い、エントロピーと集合のサイズの直接的な関係を確立する。
• シェーラーの補題と条件付きエントロピーを用いて、独立集合、マッチング、グラフ準同型などの組合せ的量の上限を導出する。
• エントロピーに基づく帰納法と極値的議論を用いて、0-1行列のパーマネント（ブレジマンの定理）や正則グラフにおける適切な彩色数の上限を証明する。
• エントロピー不等式を活用して、極値組合せ論における既知の結果（反鎖集合、ハミルトニアン閉路など）を再証明または改善する。

実験結果

リサーチクエスチョン

• RQ1 組合せ的に定義された集合（例えば、グラフにおける独立集合の数）のサイズを推定するために、エントロピーはどのように利用可能か？
• RQ2 シェーラーの補題と劣加法性が、組合せ的数え上げ問題におけるタイトな上限を導く際に果たす役割は何か？
• RQ3 エントロピーは、正則グラフにおけるマッチング、準同型、彩色に関する結果を統一的に証明するフレームワークを提供できるか？
• RQ4 エントロピーに基づく推論は、0-1行列のパーマネントに関する既存の証明をどのように改善または簡略化するか？
• RQ5 特に正則グラフにおける準同型数やマッチング数に関する、エントロピーに基づく数え上げにおける未解決問題は何か？

主な発見

• エントロピーは、正則な二部グラフから任意の固定されたターゲットグラフへの準同型数に対してタイトな上界を与える。これはカーンの独立集合に関する以前の結果を一般化する。
• $ d $-正則グラフの適切な $ k $-彩色の数は、$ k \cdot (k-1)^{d/2} $ 以下であり、二部グラフの場合に等号が成立する。
• 0-1行列の行和が固定されたときのパーマネントの最大値に関するブレジマンの定理が、エントロピーを用いて再証明され、0-1行列においてその上限がタイトであることが示された。
• 正則な二部グラフにおける独立集合の数は、頂点数 $ n $ に対して $ 2^{n/2} $ 以下であり、これは $ K_{d,d} $ の互いに素な直積の場合に等号が成立する。
• エントロピーに基づく手法により、正則な二部グラフにおける固定サイズのマッチング数に対する改善された上界が得られ、イリンカとカーンが得た最良の漸近的推定値が達成された。
• エントロピー法により、最小次数 $ \geq n/2 $ のディラックグラフにおけるハミルトニアン閉路数に対して非自明な下界が得られ、既知の極値的結果と補完的である。