[論文レビュー] Max-Sliced Mutual Information

Dor Tsur, Ziv Goldfeld+1 more|arXiv (Cornell University)|Sep 28, 2023

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、高次元変数の低次元線形射影間の相互情報量を最大化することで、スケーラブルな情報理論的一般化としての最大スライス相互情報量（mSMI）を導入する。mSMIは非線形な依存関係を捉えながらも、非漸近的誤差境界を伴うニューラル推定により計算効率を維持し、表現学習、公平性、生成モデル化の分野で既存手法を上回る性能を示す。計算コストの増加は最小限に抑えられる。

ABSTRACT

Quantifying the dependence between high-dimensional random variables is central to statistical learning and inference. Two classical methods are canonical correlation analysis (CCA), which identifies maximally correlated projected versions of the original variables, and Shannon's mutual information, which is a universal dependence measure that also captures high-order dependencies. However, CCA only accounts for linear dependence, which may be insufficient for certain applications, while mutual information is often infeasible to compute/estimate in high dimensions. This work proposes a middle ground in the form of a scalable information-theoretic generalization of CCA, termed max-sliced mutual information (mSMI). mSMI equals the maximal mutual information between low-dimensional projections of the high-dimensional variables, which reduces back to CCA in the Gaussian case. It enjoys the best of both worlds: capturing intricate dependencies in the data while being amenable to fast computation and scalable estimation from samples. We show that mSMI retains favorable structural properties of Shannon's mutual information, like variational forms and identification of independence. We then study statistical estimation of mSMI, propose an efficiently computable neural estimator, and couple it with formal non-asymptotic error bounds. We present experiments that demonstrate the utility of mSMI for several tasks, encompassing independence testing, multi-view representation learning, algorithmic fairness, and generative modeling. We observe that mSMI consistently outperforms competing methods with little-to-no computational overhead.

研究の動機と目的

• 古典的CCAが線形依存関係しか捉えられないこと、および高次元において相互情報量の推定が非現実的であることの限界を解消すること。
• 非線形依存関係を複雑に捉える表現力を持つ相互情報量と、CCAのスケーラビリティを組み合わせた依存度測度を開発すること。
• 従来の非線形CCAの変種（例：カーネルCCA や ディープCCA）に対する理論的裏付けが強く、計算効率の高い代替手法を提供すること。
• 形式的な誤差境界を備えたニューラル推定器を用いて、表現学習、公平性、生成モデル化への実用的応用を可能にすること。
• mSMIが、ガウス分布の場合にCCAに還元されることを示し、CCAの自然な情報理論的拡張であることを確立すること。

提案手法

• mSMIを、ストイケル多様体から得られる正規直交射影行列を用いて、2つの高次元確率変数の射影間の相互情報量の上界として定義する。
• ドンスカー＝ヴァラドハンの変分表現を用いて、勾配ベースの学習により射影とクリティック関数を同時に最適化するニューラル推定器を構築する。
• 線形射影とニューラルクリティックを組み合わせた1つのニューラルネットワークアーキテクチャを提案し、mSMIの効率的推定を実現する。
• 非漸近的誤差境界を確立し、$ O(k^{1/2}( ho^{-1/2} + kn^{-1/2})) $ のスケーリングを達成。ニューロン数 $ \ell $ が標本サイズ $ n $ と等しい場合にパラメトリックレートを達成する。
• mSMIをマルチビュー表現学習、ボトルネック最適化による公平性、mSMI正則化付きのInfoGANを用いた生成モデル化に応用する。
• mSMIがCCAに一般化することを実証：2変数 $ (X,Y) $ が同時ガウス分布に従う場合、最適な射影がCCAの解と一致する。

(a) FashionMNIST

実験結果

リサーチクエスチョン

• RQ1 相互情報量が捉える完全な非線形依存関係を表現しつつも、計算スケーラビリティを維持できる依存度測度を設計できるか？
• RQ2 低次元射影上での相互情報量の最大化は、非ガウス分布下において、相関に基づくCCAよりも優れた表現を生み出せるか？
• RQ3 mSMIのためのニューラル推定器が、標本サイズおよびネットワーク幅に有利にスケーリングする非漸近的誤差境界を達成できるか？
• RQ4 独立性検定、公平性、分離表現学習といったタスクにおいて、mSMIは既存手法と比較してどのように差をつけるか？
• RQ5 射影次元 $ k $ とデータ分布の内因的次元との関係は何か？

主な発見

• mSMIは、マルチビュー表現学習、独立性検定、アルゴリズム的公平性、生成モデル化の分野で、計算コストの増加が最小限の範囲で、競合手法を一貫して上回る性能を示した。
• 米国国勢調査人種的属性データセットでは、$ k > 1 $ のmSMIは、最先端の「Slice」手法よりも公平性の高い表現を学習しつつ、公平性に無関係なベースラインと同等の有用性を維持した。
• mSMIのニューラル推定器は、非漸近的誤差境界を $ O(k^{1/2}( ho^{-1/2} + kn^{-1/2})) $ のスケーリングで達成し、$ \ell = n $ の場合にパラメトリックレートを達成した。これは強力なスケーラビリティを示している。
• 生成モデル化において、最大スライス型InfoGANは、低次元射影のおかげでパrameter数を減らしながらも、従来手法と同等の性能で、MNISTの数字クラスなど、潜在コードを効果的に分離した。
• mSMIは、$ (X,Y) $ が同時ガウス分布に従う場合に古典的CCAに還元されることを示し、CCAの自然な情報理論的拡張であることを裏付けた。
• 実験的にも頑健である：$ k=1 $ のmSMIは、多様なタスクで優れた性能を発揮しており、従来の依存度測度に対する包括的で効果的な代替手段であることが示唆された。

(b) MNIST, $k=5$