[論文レビュー] The Representation Jensen-Shannon Divergence

Jhoan K. Hoyos-Osorio, Luis G. Sanchez-Giraldo|arXiv (Cornell University)|May 25, 2023

Statistical Mechanics and Entropy被引用数 4

ひとこと要約

本稿では、密度推定を回避するため、データを再生核ヒルベルト空間（RKHS）に埋め込むことで、非中心化共分散作用素を用いた新しいカーネルベースの発散、すなわち表現ジャンセン・シャノン発散（RJSD）を提案する。この手法により、フーリエ特徴量またはカーネル行列を用いたスケーラブルで微分可能かつミニバッチ対応の推定が可能となり、2標本検定において最先端の性能を達成するとともに、生成モデルにおけるモード崩壊の緩和を理論的保証とともに実現する。RJSDは古典的JSDの下界としても機能する。

ABSTRACT

Quantifying the difference between probability distributions is crucial in machine learning. However, estimating statistical divergences from empirical samples is challenging due to unknown underlying distributions. This work proposes the representation Jensen-Shannon divergence (RJSD), a novel measure inspired by the traditional Jensen-Shannon divergence. Our approach embeds data into a reproducing kernel Hilbert space (RKHS), representing distributions through uncentered covariance operators. We then compute the Jensen-Shannon divergence between these operators, thereby establishing a proper divergence measure between probability distributions in the input space. We provide estimators based on kernel matrices and empirical covariance matrices using Fourier features. Theoretical analysis reveals that RJSD is a lower bound on the Jensen-Shannon divergence, enabling variational estimation. Additionally, we show that RJSD is a higher-order extension of the maximum mean discrepancy (MMD), providing a more sensitive measure of distributional differences. Our experimental results demonstrate RJSD's superiority in two-sample testing, distribution shift detection, and unsupervised domain adaptation, outperforming state-of-the-art techniques. RJSD's versatility and effectiveness make it a promising tool for machine learning research and applications.

研究の動機と目的

• 密度推定を伴わずに、標本から統計的発散を推定する課題に対処すること。
• RKHSにおける2次モーメントを活用する発散を開発し、より高いロバストネスと理論的基盤を提供すること。
• 深層学習最適化に適した、スケーラブルで微分可能かつミニバッチ対応の推定器を提供すること。
• RJSDが古典的ジャンセン・シャノン発散の下界であることを確立し、統計的保証付きの変分推定を可能とすること。
• 多様なデータ分布において、2標本検定と生成モデルにおけるモード崩壊の緩和という点で優れた性能を示すこと。

提案手法

• 非中心化共分散作用素を用いて確率分布を再生核ヒルベルト空間（RKHS）に埋め込むことで、表現ジャンセン・シャノン発散（RJSD）を提案する。
• 明示的なフーリエ特徴量マッピングを用いて、標本共分散行列から推定器を構築し、微分可能性とスケーラビリティを実現する。
• 明示的な特徴量マッピングを必要としない、代替的なカーネル行列ベースの推定器を提供し、理論的整合性を保持する。
• やや弱い正則性条件の下で、提案された推定器の整合性および標本複雑度の上限を導出する。
• カーネルベースのエントロピーとシャノンエントロピーの関係を活用し、RJSDを古典的情報理論的量と関連付ける。
• Adamを用いてRJSDを最適化し、フーリエ特徴量、カーネル帯域幅、ネットワークパラメータを一括して学習するエンドツーエンドの訓練を実現する。

Figure 1: Jensen-Shannon Divergence estimation for two set of samples following Cauchy distributions (N = 512). We compare the following estimators: NWJ (Nguyen et al., 2010 ) , infoNCE (Oord et al., 2018 ) , CLUB (Cheng et al., 2020 ) , MINE (Belghazi et al., 2018 ) , KNIFE (Pichler et al., 2022 )

実験結果

リサーチクエスチョン

• RQ1 2次モーメントを用いてRKHSに発散を構築し、直接的な密度推定を回避できるか？
• RQ2 実証的標本抽出下で、提案されたRJSD推定器は整合的かつ標本効率的か？
• RQ3 RJSDが古典的ジャンセン・シャノン発散の下界として機能し得るか？これにより、保証付きの変分推定が可能か？
• RQ4 多様なデータ分布において、RJSDは2標本検定で最先端の手法を上回る性能を示せるか？
• RQ5 RJSDは、生成対抗ネットワークにおけるモード崩壊を効果的に防止し、サンプルの多様性を向上させられるか？

主な発見

• MNIST、Higgs、HDGMなど複数のデータセットにおいて、RJSDはMMD、C2STその他のベースラインと比較して、より高い統計的パワーを示し、2標本検定で最先端の性能を達成する。
• RJSDに基づくGAN訓練は、モード崩壊を効果的に緩和し、ベースラインGANと比較してより多様で高品質なサンプルを生成する。
• RJSD推定器は古典的ジャンセン・シャノン発散の下界であるため、理論的整合性保証付きの変分推定が可能である。
• フーリエ特徴量ベースの推定器は、強力なスケーラビリティとミニバッチ最適化との適合性を示し、深層生成モデルにおける効率的訓練を可能にする。
• 実験結果から、通常のカーネル理論の期待とは反対に、D << N のフーリエ特徴量を使用した場合に、高次元の特徴空間よりも優れた性能が得られることが示された。
• 本手法は、データスケールの変化に対してもロバストであるが、カーネル行列におけるランク不一致のため、ハイパーパramータの注意深い調整、または明示的特徴量マッピングの使用が求められる。

Figure 3: Generated samples using rep JSD.