[論文レビュー] Information Theory in Density Destructors

J. Emmanuel Johnson, Valero Laparra+3 more|arXiv (Cornell University)|Dec 2, 2020

Neural Networks and Applications参考文献 20被引用数 6

ひとこと要約

本論文は、複雑な多次元確率分布を最大エントロピー形に写像する微分可能で可逆な変換である密度破壊者（density destructors）と古典的情報理論の間の新しい接続を提示する。Robust Block-Independent Gaussianization（RBIG）を用いた多次元ガウス化により、最大50次元のシミュレートされた多次元スチューデントt分布において、従来の手法を上回る精度で全相関（total correlation）および相互情報量（mutual information）を推定可能である。

ABSTRACT

Density destructors are differentiable and invertible transforms that map multivariate PDFs of arbitrary structure (low entropy) into non-structured PDFs (maximum entropy). Multivariate Gaussianization and multivariate equalization are specific examples of this family, which break down the complexity of the original PDF through a set of elementary transforms that progressively remove the structure of the data. We demonstrate how this property of density destructive flows is connected to classical information theory, and how density destructors can be used to get more accurate estimates of information theoretic quantities. Experiments with total correlation and mutual information inmultivariate sets illustrate the ability of density destructors compared to competing methods. These results suggest that information theoretic measures may be an alternative optimization criteria when learning density destructive flows.

研究の動機と目的

• 密度破壊者と古典的情報理論の間の理論的かつ実用的な接続を確立すること。
• 可逆で微分可能な変換を用いて、全相関や相互情報量などの情報理論的量を推定する手法を開発すること。
• 密度破壊者が高次元設定において、既存の推定器の強力な代替手段として機能できることを示すこと。
• 提案されたRBIGに基づく密度破壊者の性能を、情報理論的推定分野における最先端手法と比較して評価すること。

提案手法

• 本手法は、密度破壊者としてRBIGアルゴリズムを用い、繰り返しの周辺ガウス化と直交回転（例：PCA）により多次元データを標準正規分布または一様分布の基本分布に変換する。
• 変換は可逆的かつ微分可能であり、変数変換の公式を用いて正確な尤度計算が可能である。
• 全相関（T）は、各層における冗長性の累積的低減として推定され、ΔTの累積和を用いて収束が追跡される。
• 基本分布におけるデータの尤度は、破壊者のヤコビ行列の行列式を用いて計算される。
• フレームワークは、Laparraら（2011）の停止ルールに従い、全相関を最適化基準として訓練される。
• 本手法は、多次元スチューデントt分布におけるkNN、expF、vME推定器との比較のため、ITE-Toolboxを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 密度破壊者は、全相関や相互情報量といった古典的情報理論的概念と正式に接続可能か？
• RQ2 多次元ガウス化（RBIG）に基づく密度破壊者は、他の手法に比べて情報理論的量の推定をより高精度に行えるか？
• RQ3 全相関を最適化基準として用いることで、密度破壊者が多次元的依存関係を推定する性能が向上するか？
• RQ4 自由度ν=2,3の高次元設定（d=3,10,50）において、RBIGに基づく密度破壊者はどの程度の性能を示すか？

主な発見

• 全相関（T）の推定において、RBIGに基づく密度破壊者は、全テスト次元および自由度において、kNN、expF、vME推定器を一貫して上回った。
• 相互情報量（I）の推定において、すべての設定でRBIG手法が最も優れた、またはほぼ最良の結果を達成し、解析的値からのずれが最小限に抑えられた。
• 同心円のトイ例では、本手法が全相関をほぼゼロにまで低下させ、冗長な情報を効果的に除去できた。
• 各層におけるΔTの累積がゼロに収束したため、流れがデータ内のすべての統計的依存関係を正常に排除したことが確認された。
• 500～50,000のさまざまな標本サイズおよび最大d=50の高次元設定において、本手法は頑健性を示した。
• 全相関を最適化基準として用いることで、密度破壊者の有効な学習が達成され、これが訓練目的としての有効性を裏付けた。