[論文レビュー] k-Sliced Mutual Information: A Quantitative Study of Scalability with Dimension

Ziv Goldfeld, Kristjan Greenewald+2 more|arXiv (Cornell University)|Jun 17, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、k次元部分空間への射影によって高次元変数を扱うことで、スライスド相互情報量（SMI）を一般化したスケーラブルな依存度測度であるk-スライスド相互情報量（k-SMI）を導入する。モンテカルロ推定誤差に対する鋭い次元依存の境界を提示し、ニューラル推定器の最適収束速度を確立することで、特定の条件下で高次元化が推定誤差を低減できることを明らかにする。

ABSTRACT

Sliced mutual information (SMI) is defined as an average of mutual information (MI) terms between one-dimensional random projections of the random variables. It serves as a surrogate measure of dependence to classic MI that preserves many of its properties but is more scalable to high dimensions. However, a quantitative characterization of how SMI itself and estimation rates thereof depend on the ambient dimension, which is crucial to the understanding of scalability, remain obscure. This work provides a multifaceted account of the dependence of SMI on dimension, under a broader framework termed $k$-SMI, which considers projections to $k$-dimensional subspaces. Using a new result on the continuity of differential entropy in the 2-Wasserstein metric, we derive sharp bounds on the error of Monte Carlo (MC)-based estimates of $k$-SMI, with explicit dependence on $k$ and the ambient dimension, revealing their interplay with the number of samples. We then combine the MC integrator with the neural estimation framework to provide an end-to-end $k$-SMI estimator, for which optimal convergence rates are established. We also explore asymptotics of the population $k$-SMI as dimension grows, providing Gaussian approximation results with a residual that decays under appropriate moment bounds. All our results trivially apply to SMI by setting $k=1$. Our theory is validated with numerical experiments and is applied to sliced InfoGAN, which altogether provide a comprehensive quantitative account of the scalability question of $k$-SMI, including SMI as a special case when $k=1$.

研究の動機と目的

• k-SMIが環境次元と射影次元kとどのようにスケーリングするかを定量的に分析すること。
• SMIに関する先行研究のギャップを埋めるために、k、d_x、d_y、および標本サイズに依存する明示的かつ検証可能な推定誤差の境界を導出すること。
• k-SMIのエンドツーエンドニューラル推定器に対して形式的な収束保証を確立し、最適なレートを示すこと。
• 次元が増加する際の母集団k-SMIの漸近的挙動を分析し、残差が減少するガウス近似結果を提供すること。
• 理論を実証的に検証し、スライスドInfoGANへの応用を通じて実用的スケーラビリティを示すこと。

提案手法

• k-SMIを、正規直交行列のスタイフェル多様体上での一様分布に従うk次元射影におけるXとYの相互情報量の平均として定義する。
• HWI不等式を用いて、2-ウォッシャー施計量における微分エントロピーの新しい連続性結果を導出し、先行研究よりも最適な定数と弱い正則性仮定を満たす。
• スタイフェル多様体上での射影されたMIのリプシッツ連続性を活用し、モンテカルロ推定の分散を制御する。
• 推定誤差の境界を、O(√(k(1/d_x + 1/d_y)/m))のスケーリングとして確立し、共分散行列およびフィッシャー情報行列への明示的依存関係を含む。
• k次元変数の一般的なMI推定器とモンテカルロ統合を組み合わせ、エンドツーエンドのk-SMI推定器を構築する。
• 濃度とエントロピー連続性を用いて一般化誤差をバインドすることで、ニューラル推定器の最適収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 k-SMIの推定誤差は、環境次元d_x、d_yおよび射影次元kとどのようにスケーリングするか？
• RQ2 k、d_x、d_y、およびモンテカルロ標本数mが推定精度に与える相互作用は何か？
• RQ3 k-SMIはニューラルネットワークを用いて最適なパラメトリックレートで推定可能か？収束保証は何か？
• RQ4 d_xとd_yが増加する際の母集団k-SMIの漸近的挙動は？ガウス近似への収束速度は？
• RQ5 kや次元性を増加させることで推定誤差は減少するか？どのような条件下で？

主な発見

• k-SMIのモンテカルロ推定誤差は、O(√(k(1/d_x + 1/d_y)/m))のスケーリングを示し、共分散行列およびフィッシャー情報行列の関数として明示的な定数を有する。
• kが固定されている場合、環境次元が高くなると推定誤差が低減することがあり、これは境界式に含まれる1/d_xおよび1/d_yの項に起因する直感に反する結果であり、数値的に確認された。
• 射影された変数の微分エントロピーは、スタイフェル多様体上のフロベニウスノルムに関してリプシッツ連続であり、これによりモンテカルロ推定の分散制御が可能になる。
• k-SMIのエンドツーエンドニューラル推定器は、ややいなごうのモーメントおよび正則性条件の下で最適なパラメトリック収束速度を達成する。
• 適切なモーメントバウンドの下で、母集団k-SMIはO(1/√(d_x + d_y))の残差でガウス近似を許容する。
• すべての結果はk=1のとき元のSMIのケースに還元され、これにより先行研究におけるSMIに関する解析的ギャップが埋められる。