[論文レビュー] Information Theory Measures via Multidimensional Gaussianization

Valero Laparra, J. Emmanuel Johnson+3 more|arXiv (Cornell University)|Oct 8, 2020

Gaussian Processes and Bayesian Inference参考文献 71被引用数 4

ひとこと要約

本稿では、多次元ガウス化を用いて情報理論的測度—エントロピー、カルバック・ライブラーレンジ、相互情報量—を推定する新しいフレームワークを提案する。反復的デコリレーションと分散安定化を用いてデータを多次元正規分布に近づけることで、多様な分布および次元において、従来の手法（kNN、KDP、RBIGなど）に比べてバイアスと分散の両面で顕著に優れた推定精度を達成する。特に高次元設定下で顕著な優位性を示す。

ABSTRACT

Information theory is an outstanding framework to measure uncertainty, dependence and relevance in data and systems. It has several desirable properties for real world applications: it naturally deals with multivariate data, it can handle heterogeneous data types, and the measures can be interpreted in physical units. However, it has not been adopted by a wider audience because obtaining information from multidimensional data is a challenging problem due to the curse of dimensionality. Here we propose an indirect way of computing information based on a multivariate Gaussianization transform. Our proposal mitigates the difficulty of multivariate density estimation by reducing it to a composition of tractable (marginal) operations and simple linear transformations, which can be interpreted as a particular deep neural network. We introduce specific Gaussianization-based methodologies to estimate total correlation, entropy, mutual information and Kullback-Leibler divergence. We compare them to recent estimators showing the accuracy on synthetic data generated from different multivariate distributions. We made the tools and datasets publicly available to provide a test-bed to analyze future methodologies. Results show that our proposal is superior to previous estimators particularly in high-dimensional scenarios; and that it leads to interesting insights in neuroscience, geoscience, computer vision, and machine learning.

研究の動機と目的

• 高次元かつ非ガウス分布の設定下で、情報理論的測度推定の精度を向上させること。
• 小標本および高次元領域における従来の非パラメトリック推定器の高いバイアスと分散を是正すること。
• 多次元ガウス化を活用して推定性能を安定化・向上させる統一的フレームワークを開発すること。
• ガウス分布、一様分布、スチューデントt分布を含む多様な分布に対して、本手法のロバストネスを評価すること。
• 機械学習および信号処理分野における情報理論的解析に実用的かつスケーラブルなソリューションを提供すること。

提案手法

• Fast ICAアルゴリズムを用いて反復的デコリレーションと分散安定化により、入力データを多次元正規分布に変換する。
• 各次元に対して非線形変換を適用し、単位分散を達成するとともに、高次相関を低減する。
• ガウス化されたデータから、解析的公式を用いて情報理論的量（エントロピー、KL発散、相互情報量）を推定する。
• 複数の試行にわたるアンサンブル平均を用いて分散を低減し、ロバストネスを向上させる。
• RBIG、kNN、KDP、expF、vME、およびアンサンブル（Ens）手法と性能を比較する。
• 相対平均絶対誤差（rMAE）を用いて、解析的真値との誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 提案手法のガウス化に基づくアプローチは、エントロピー推定において、従来の非パラメトリック推定器と比較してバイアスと分散の両面でどのように異なるか？
• RQ2 ガウス分布と重たい尾を持つ（スチューデントt）分布間のKL発散推定において、本手法の性能はいかがなものか？
• RQ3 さまざまな次元および分布仮定のもとで、相互情報量はガウス化フレームワークを用いてどの程度正確に推定可能か？
• RQ4 さまざまな標本サイズおよび増加する次元数の下でも、本手法は低誤差を維持するか？
• RQ5 非ガウス分布、重たい尾を持つ分布、一様分布の下で、本手法の性能はいかがなものか？

主な発見

• 本手法は、全テスト対象の分布および次元において、すべてのベースライン手法に比べて顕著に低い相対平均絶対誤差（rMAE）を達成する。
• エントロピー推定において、本手法はRBIG、kNN、KDPを上回り、特に高次元（D=100）において顕著な優位性を示す。中程度の標本サイズでもrMAEは5％未満を維持する。
• ガウス分布間のKL発散推定において、本手法は平均や標準偏差を変更してもrMAEが3％未満に保たれ、kNNやKDPを上回る性能を示す。
• ガウス分布と多次元スチューデントt分布間のKL発散推定において、自由度ν=0.2から0.6にわたる範囲で安定した性能を示し、rMAEは4％未満を維持する。
• 相互情報量推定において、ガウス分布および重たい尾を持つ分布（ν=3,5,20）の両方で、本手法が最低のrMAEを達成する。特にD=50およびD=100の状況で顕著な優位性を示す。
• アンサンブル版（Ens）は分散をさらに低減し、5回の独立試行においてもきわめて狭い信頼区間を示し、高いロバストネスを示す。