[論文レビュー] Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses

Eslam Abdelaleem, Ilya Nemenman+1 more|arXiv (Cornell University)|Oct 5, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、エンコーダ・デコーダのグラフィカル構造を用いて情報圧縮をモデル化する統一的アプローチである、深層変分多次元情報ボトルネック（DVMIB）フレームワークを提案する。これは、DVCCA や VAE を一般化し、beta-DVCCA や DVSIB といった新たなアルゴリズムを導出する。特に、データの構造的仮定と一致する場合、ノイズの多い MNIST において優れたサンプル効率と分類精度を示す。

ABSTRACT

Variational dimensionality reduction methods are widely used for their accuracy, generative capabilities, and robustness. We introduce a unifying framework that generalizes both such as traditional and state-of-the-art methods. The framework is based on an interpretation of the multivariate information bottleneck, trading off the information preserved in an encoder graph (defining what to compress) against that in a decoder graph (defining a generative model for data). Using this approach, we rederive existing methods, including the deep variational information bottleneck, variational autoencoders, and deep multiview information bottleneck. We naturally extend the deep variational CCA (DVCCA) family to beta-DVCCA and introduce a new method, the deep variational symmetric information bottleneck (DVSIB). DSIB, the deterministic limit of DVSIB, connects to modern contrastive learning approaches such as Barlow Twins, among others. We evaluate these methods on Noisy MNIST and Noisy CIFAR-100, showing that algorithms better matched to the structure of the problem like DVSIB and beta-DVCCA produce better latent spaces as measured by classification accuracy, dimensionality of the latent variables, sample efficiency, and consistently outperform other approaches under comparable conditions. Additionally, we benchmark against state-of-the-art models, achieving superior or competitive accuracy. Our results demonstrate that this framework can seamlessly incorporate diverse multi-view representation learning algorithms, providing a foundation for designing novel, problem-specific loss functions.

研究の動機と目的

• 多次元情報ボトルネックに基づく一貫した枠組みとして、多様な変分次元削減手法を統合すること。
• エンコーダおよびデコーダのグラフ構造を調整することで、新しい手法を体系的に導出できるようにすること。
• モデルの誘導的バイアス（inductive bias）をデータ構造と一致させることで、サンプル効率と表現品質を向上させること。
• ドメイン知識を活用して問題固有の変分損失関数を設計できるモジュール型で拡張可能なフレームワークを提供すること。

提案手法

• フレームワークは多次元情報ボトルネックの原則に基づく。エンコーダのグラフが圧縮を指定し、デコーダのグラフが生成的モデリングを指定する。
• 変分バウンズを用いて情報ボトルネック損失を近似し、深層ニューラルネットワークを用いたエンドツーエンド学習を可能にする。
• 圧縮と再構成のトレードオフは、beta パrameter によって制御され、DVCCA から beta-DVCCA に一般化される。
• 特定のグラフィカル構造を定義することで新しいモデルが導出される：DVSIB は2つの変数を圧縮し、それらの表現間の相互情報量を保存する。
• 共有およびプライベートな潜在表現の両方をサポートしており、DVSIB-private のようなモデルが可能になる。
• アルゴリズムは標準ベンチマーク（Noisy MNIST を含む）を用いて実装・評価され、分類精度と潜在次元数が主な指標となる。

Figure 2: Dataset consisting of pairs of digits drawn from MNIST that share an identity. Top row, $X$ : MNIST digits randomly scaled $(0.5-1.5)$ and rotated $(0-\pi/2)$ . Bottom row, $Y$ : MNIST digits with a background Perlin noise. t-SNE of $X$ and $Y$ datasets (left and middle) shows poor separat

実験結果

リサーチクエスチョン

• RQ1 既存の変分次元削減手法を、情報理論的枠組みとして体系的に統合することは可能か？
• RQ2 DVMIB フレームワーク内でのエンコーダおよびデコーダのグラフ構造を変更することで、どのような新しい手法が導出可能か？
• RQ3 モデルの誘導的バイアス（例：対称的圧縮）をデータの背後にある構造と一致させると、表現品質にどのような影響を与えるか？
• RQ4 低データ環境下において、このフレームワークはどの程度サンプル効率を向上させるか？
• RQ5 このフレームワークを用いて、マルチビュー表現学習のための新規で問題特化した損失関数を導出し実装できるか？

主な発見

• beta-DVCCA はノイズの多い MNIST で 98.9% のテスト精度を達成し、標準的な DVCCA（93.7%）やベースラインの結合モデル（97.7%）を上回った。
• DVSIB は 93.9% の精度を達成し、対称的圧縮がデータの相互情報量構造と一致する場合に性能が向上することを示した。
• DVSIB および beta-DVCCA は、誤差とサンプルサイズの対数スケールプロットにおいて、より急な収束勾配を示し、少ないサンプルで高速に学習できることを示した。
• フレームワークは、2つの変数を圧縮してそれらの表現間の相互情報量を保存する、新規な手法 DVSIB を体系的に導出し実装した。
• DVSIB-private のプライベートな潜在変数は、スケールおよび回転要因を保存したが、数字のラベルは保存しなかった。これは、共有要因とプライベート要因の分離が成功していることを確認した。
• 2つの潜在次元に制限された状況でも、DVSIB および beta-DVCCA は意味のあるクラスタリングを達成しており、低次元圧縮に対するロバストネスを示した。

Figure 3: Top: t-SNE plot of the latent space $Z_{Y}$ of DVSIB colored by the identity of digits. Top Right: Classification accuracy of an SVM trained on DVSIB’s $Z_{Y}$ latent space. The accuracy was evaluated for DVSIB with a parameter sweep of the trade-off parameter $\beta=2^{-5},...,2^{10}$ and