[論文レビュー] Estimating Mutual Information for Discrete-Continuous Mixtures

Weihao Gao, Sreeram Kannan+2 more|arXiv (Cornell University)|Sep 19, 2017

Bayesian Modeling and Causal Inference参考文献 5被引用数 77

ひとこと要約

本論文は、Radon-Nikodym微分とk近傍法に基づく混合離散-連続分布の mutual information 推定量を提案し、一貫性を証明し、ベースラインに対して有利な性能を示す。

ABSTRACT

Estimating mutual information from observed samples is a basic primitive, useful in several machine learning tasks including correlation mining, information bottleneck clustering, learning a Chow-Liu tree, and conditional independence testing in (causal) graphical models. While mutual information is a well-defined quantity in general probability spaces, existing estimators can only handle two special cases of purely discrete or purely continuous pairs of random variables. The main challenge is that these methods first estimate the (differential) entropies of X, Y and the pair (X;Y) and add them up with appropriate signs to get an estimate of the mutual information. These 3H-estimators cannot be applied in general mixture spaces, where entropy is not well-defined. In this paper, we design a novel estimator for mutual information of discrete-continuous mixtures. We prove that the proposed estimator is consistent. We provide numerical experiments suggesting superiority of the proposed estimator compared to other heuristics of adding small continuous noise to all the samples and applying standard estimators tailored for purely continuous variables, and quantizing the samples and applying standard estimators tailored for purely discrete variables. This significantly widens the applicability of mutual information estimation in real-world applications, where some variables are discrete, some continuous, and others are a mixture between continuous and discrete components.

研究の動機と目的

• 変数が混合する離散と連続である場合の正確な mutual information 推定の動機づけ。
• エントロピーが一般の尺度空間で定義されていない場合にも機能する直接的な推定器を開発。
• 推定量の理論的保証（一貫性）を確立。
• synthetic と実データで標準ベースラインに対する実用的性能を示す。

提案手法

• Radon-Nikodym微分によって一般分布の MI を定義。
• 各サンプルで微分を推定するために k-NN 距離を用いる混合変量 MI 推定量を提案。
• 離散点、結合密度領域、純連続部分を統一的なスキーム内で扱う。
• 軽微な技術条件の下で推定量の一貫性を証明（ℓ2一貫性）。
• 推定量が特殊ケース（純粋に離散、純粋に連続、または混合）を方法の極限として回復することを示す。
• 離散化、適応分割、ノイズ付き-KSGベースラインと経験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 Xおよび/またはYが離散成分と連続成分の混合である場合、MIを一貫して推定できるか？
• RQ2 Radon-Nikodym を基にした推定量は、混合領域における3HベースおよびKSG風の方法と比較してどのように性能を発揮するか？
• RQ3 提案された推定量は純粋に離散、純粋に連続、混合設定に適応するか？
• RQ4 synthetic および実データの混合タスクで推定量の経験的性能はどうか？

主な発見

• 推定量は技術的仮定と一般的な実用分布下でℓ2において一貫している。
• 混合変数を離散化したりノイズを加えたりするベースラインを、さまざまな実験領域で上回る。
• 推定量は特殊ケースとして純粋に離散、純粋に連続を自然に回復する。
• 高次元の混合とゼロインフレ分布を含む実験で頑健な性能を示す。
• 欠落のような汚染下での特徴選択と遺伝子調節ネットワーク推定などの応用。
• 経験的結果は離散化とノイズ付き-KSGアプローチと比較して良好なサンプル効率を示す。