[論文レビュー] Mutual information is copula entropy

Jian Ma, Zengqi Sun|ArXiv.org|Aug 6, 2008

Cognitive Science and Education Research参考文献 1被引用数 8

ひとこと要約

本稿は、相互情報量（MI）がコプシラ・エントロピーの負値に等しいことを証明し、情報理論とコプシラ理論の間の根本的な結びつきを確立している。データを経験的コプシラ一様分布に変換した後、既存のエントロピー推定器を用いてコプシラ・エントロピーを推定する、新たなMI推定法を提案しており、ガウス分布データにおいても優れた性能を示している。

ABSTRACT

We prove that mutual information is actually negative copula entropy, based on which a method for mutual information estimation is proposed.

研究の動機と目的

• 相互情報量とコプシラ・エントロピーの理論的同等性を確立すること。
• MIがエントロピーの一種であることを示すことで、情報理論とコプシラ理論を橋渡しすること。
• コプシラに基づくエントロピー推定を用いた実用的なMI推定手法を開発すること。
• 提案手法の性能を既存のMI推定手法と比較すること。

提案手法

• スカラの定理とコプシラ密度表現に基づき、理論的証明により相互情報量 I(X) がコプシラ・エントロピーの負値 -Hc(X) に等しいことを示した。
• 元のデータを経験的累積分布関数（CDF）を用いて変換することで、経験的コプシラ標本を生成した。
• 経験的コプシラ標本からコプシラ密度を推定し、単位ハイパーキューブ内の一様分布変換データセットを構築した。
• K-近傍法（kNN）によるエントロピー推定器（Kraskovら, 2004）を用いてコプシラ・エントロピー Hc を推定した。
• その後、推定されたコプシラ・エントロピーの負値として相互情報量を算出した：I(X) = -Hc(X)。
• 既存のエントロピー推定技術を活用しているため、モジュラーかつさまざまなエントロピー推定器に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 相互情報量は、コプシラから導かれる特定の形のエントロピーと数学的に同等であるか？
• RQ2 コプシラ・エントロピー推定は、相互情報量推定の信頼できる代替手段として機能するか？
• RQ3 kNNに基づく推定法と比較して、コプシラベースのMI推定の性能はどの程度か？
• RQ4 結合エントロピー、周辺エントロピー、コプシラ・エントロピーの間にはどのような理論的関係があるか？

主な発見

• 本稿では、厳密な数学的同等性を確立した：相互情報量 I(X) は正確に負のコプシラ・エントロピー -Hc(X) に等しい。
• 結合エントロピー H(X)、周辺エントロピー H(xi)、コプシラ・エントロピーの関係が H(X) = ΣH(xi) + Hc(X) であることが示された。
• 提案手法は、2次元ガウス分布データにおいて競争力ある推定精度を達成しており、解析解に非常に近い結果を示した。
• 相関係数 ρ が 0 から 0.9 の範囲で1000サンプルの2次元ガウス分布データに対して、コプシラ・エントロピーに基づく手法は、全ρレベルで解析的相互情報量と一致した。
• 実験的比較により、Kraskov ら (2004) のkNNベースのMI推定器と同等またはそれ以上の性能を示した。