[論文レビュー] Beyond Normal: On the Evaluation of Mutual Information Estimators

Paweł Czyż, Frederic Grabowski+3 more|arXiv (Cornell University)|Jun 19, 2023

Neural Networks and Applications被引用数 15

ひとこと要約

本論文は、相互情報推定器の多様なベンチマークを紹介し、ガウスデータでの性能が過剰に楽観的であることを示し、ニューラル、KSG、またはモデルベースの推定器が高次元、スパース性、長い裾においてどこで優れているか、または失敗するかを強調する。

ABSTRACT

Mutual information is a general statistical dependency measure which has found applications in representation learning, causality, domain generalization and computational biology. However, mutual information estimators are typically evaluated on simple families of probability distributions, namely multivariate normal distribution and selected distributions with one-dimensional random variables. In this paper, we show how to construct a diverse family of distributions with known ground-truth mutual information and propose a language-independent benchmarking platform for mutual information estimators. We discuss the general applicability and limitations of classical and neural estimators in settings involving high dimensions, sparse interactions, long-tailed distributions, and high mutual information. Finally, we provide guidelines for practitioners on how to select appropriate estimator adapted to the difficulty of problem considered and issues one needs to consider when applying an estimator to a new data set.

研究の動機と目的

• MI推定器のための堅牢で言語に依存しないベンチマークが不足している現状を動機づけ、解決する。
• 注入変換を用いて既知の真のMIをもつ表現力豊かな分布を開発する。
• 次元、スパース性、裾、及び高MIを跨ぐ40タスクに渡って、多様なMI推定器を体系的に比較する。

提案手法

• MIを保つ連続単射写像を用いて、基底の多変量正規分布およびStudent分布から表現力豊かな結合分布を構築する。
• 高次元性、スパース性、裾、及び微分同相変換に対する不変性を網羅する40タスクのベンチマークを提供する。
• ニューラル（D-V、MINE、InfoNCE、NWJ）、KSG、LNN、ヒストグラム/転移エントロピー、CCAを含む多様な推定器を評価する。
• 変換とサンプルサイズに対する推定量のバイアス、分散、頑健性を分析する。
• Snakemakeワークフローを用いて、ベンチマークフレームワークを言語に依存しないようにし、再現性を確保する。

Figure 1: Visualisations of selected proposed distributions. Two correlated Gaussian variables $X$ and $Y$ (1) can be transformed via the Gaussian CDF into correlated uniform variables (2), into a long-tailed distribution via the “half-cube” mapping $t\mapsto t\sqrt{|t|}$ (3), into a multi-modal dis

実験結果

リサーチクエスチョン

• RQ1 高次元かつ疎な相互作用を持つ変数に対して、一般的なMI推定量はどのように振る舞うか。
• RQ2 長尾分布や変換された分布はMI推定にどのような影響を与えるか。
• RQ3 有限サンプルにおいて、連続単射変換に対するMI推定の不変性はどの程度保証されるか。
• RQ4 難条件下で高MIに対して最も信頼できる推定量はどれか。

主な発見

• 多変量正規分布での検証は、推定量の性能が偏っており過度に楽観的である。
• 高次元で疎な相互作用がある設定では、ニューラル推定量が古典的手法を上回る。
• KSGは低〜中次元では正確だが、高次元や疎な構造では性能が低下する。
• MI推定は、単射変換の理論的不変性にもかかわらず有限サンプルでは不変ではない。
• 裾の短縮変換を施しても、推定量全般に対して重大な課題を与える。
• 高MI領域では、一般にニューラル推定量が良好に機能する一方、モデルベースのCCAはほぼガウス分布データかつ小さなサンプルサイズの場合に卓越することがある。

Figure 2: Mean MI estimates of nine estimators over $n=10$ samples with $N=10\,000$ points each against the ground-truth value on all benchmark tasks grouped by category. Color indicates relative negative bias ( blue ) and positive bias ( red ). Blank entries indicate that an estimator experienced n