[論文レビュー] The Minimum of the Entropy of a Two-Dimensional Distribution with Given Marginals

Giorgio Dall’Aglio, Elisabetta Bona|arXiv (Cornell University)|Apr 8, 2011

Statistical and Computational Modeling参考文献 1被引用数 3

ひとこと要約

この論文は、最大Fréchet分布関数の行および列の再配置によって最小化分布を構成することにより、固定された周辺分布をもつ2次元離散分布の最小エントロピーを特定する。主な結果は、連携分布が対角線上に質量を集中させる場合、最小エントロピーが周辺エントロピーに等しくなることである。これは、与えられた制約下での可能な最小の不確実性を達成する。

ABSTRACT

The paper search for the minimum of the entropy of a two- dimensional distribution in the Fréchet class, the class of distributions with given marginals. The main result for discrete distributions is an algorithm for building the minimizing distribution, which is given by the maximum distribution function of the Fréchet class after a suitable rearrangement of the rows and of the columns. For absolutely continuous distributions a minimum does not exists, and the infimum is equal to -\infty.

研究の動機と目的

• 固定周辺分布をもつFréchetクラス内での最小化関数を特定すること。
• 離散ケースにおける最小化分布を構成的に生成するアルゴリズムを確立すること。
• 絶対連続ケースにおけるエントロピーの下界の挙動を分析すること。この場合、最小値は存在しない。
• 最小結合エントロピーが周辺エントロピーに等しくなる条件を特定すること。

提案手法

• 最大Fréchet分布（M(x,y)）の行および列を再配置してエントロピーを最小化するアルゴリズムを提案。
• Fréchetの上限：$ \max\{F(x)+G(y)-1,0\} \leq F(x,y) \leq \min\{F(x),G(y)\} $、端点で等号成立。
• エントロピーの公式 $ H(X,Y) = -\sum_{r,s} p_{r,s} \log p_{r,s} $ を用い、$ p_{r,s} $ は $ \max\{p_{r,\cdot}+p_{\cdot,s}-1,0\} \leq p_{r,s} \leq \min\{p_{r,\cdot},p_{\cdot,s}\} $ で制約。
• 支持集合の分割 $ \{I_s\} $ を用いて、$ p_{r,s}^* = p_{r,\cdot} $（$ r \in I_s $）と定義し、最小化分布 $ P^* $ を構築。
• 結合分布が対角線上に質量を集中する場合に最小エントロピーが達成されることを示す。このとき周辺エントロピーと一致する。
• 連続ケースを分析し、エントロピーの下界が $ -\infty $ であることを示し、最小値は存在しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 固定周辺分布をもつ2次元離散分布の最小エントロピーは何か？
• RQ2 固定周辺分布のもとでエントロピーを最小化する分布を生成する構成的アルゴリズムを開発可能か？
• RQ3 最小結合エントロピーが周辺エントロピーに等しくなる条件は何か？
• RQ4 固定周辺分布をもつ絶対連続分布の場合、エントロピーの下界はどのように変化するか？
• RQ5 最小化分布の構造はFréchetの上限および最大分布関数とどのように関係するか？

主な発見

• 固定周辺分布をもつ離散2変量分布の最小エントロピーは、最大Fréchet分布関数の行および列の再配置によって得られる分布で達成される。
• 最小化分布は、$ \{I_s\} $ がインデックス集合の分割であり、$ \sum_{r \in I_s} p_{r,\cdot} = p_{\cdot,s} $ を満たすとき、$ p_{r,s}^* = p_{r,\cdot} $（$ r \in I_s $）と定義される。
• このような分割が存在する場合、最小結合エントロピーは周辺エントロピーに等しくなる：$ H(X^*,Y^*) = H(X) = H(Y^*) $。
• 離散一様分布および幾何分布の周辺分布の場合、最小エントロピーは明示的に計算可能であり、周辺エントロピーと一致する。
• 固定周辺分布をもつ絶対連続分布の場合、エントロピーの下界は $ -\infty $ であるため、最小値は存在しない。
• 幾何分布と一様分布の一方が幾何分布で他方が一様分布の場合、点数が増加するに従い、最小エントロピーは最大エントロピーに限りなく近づく。