[論文レビュー] Variational Information Bottleneck on Vector Quantized Autoencoders

Hanwei Wu, Markus Flierl|arXiv (Cornell University)|Aug 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 4

ひとこと要約

この論文は、ベクトル量子化変分オートエンコーダー（VQ-VAEs）と情報ボトルネック原理の理論的関係を確立する。元のVQ-VAE損失関数は変分決定的情報ボトルネック（VDIB）から導出可能であり、EMで訓練されたVQ-VAEは変分情報ボトルネック（VIB）を近似する。これは、条件付きエントロピーの増加に起因し、潜在表現のパープレキシティが向上する。

ABSTRACT

In this paper, we provide an information-theoretic interpretation of the Vector Quantized-Variational Autoencoder (VQ-VAE). We show that the loss function of the original VQ-VAE can be derived from the variational deterministic information bottleneck (VDIB) principle. On the other hand, the VQ-VAE trained by the Expectation Maximization (EM) algorithm can be viewed as an approximation to the variational information bottleneck(VIB) principle.

研究の動機と目的

• VQ-VAEの訓練目的に対する情報理論的解釈を提供すること。
• VQ-VAEと変分情報ボトルネック（VIB）および変分決定的情報ボトルネック（VDIB）原理との理論的関係を明確にすること。
• EMベースのVQ-VAE訓練が、条件付きエントロピーの増加によって潜在表現品質を向上させる理由を説明すること。
• VQ-VAE損失関数と情報理論的圧縮目的との間の関係を形式化すること。

提案手法

• 変分分布 r(z) を用いてエントロピー H(Z) を上界で抑え、交差エントロピー正則化項が得られるようにVDIB損失関数を導出する。
• 変分近似を用いてKLダイバージェンス項 I(I,Z) を上界で抑え、事後分布 p(Z|I) に対するKL正則化項が得られるようにVIB損失関数を導出する。
• VQ-VAEの再構成項とコミットメント損失をVDIB目的関数にマッピングする。再構成項は歪みに対応し、コミットメント損失は交差エントロピー正則化に対応する。
• ストップ・グラデント演算子を用いてエンコーダーと量子化器を分離し、逆伝播はデコーダーのみを通すようにする。これはVDIB訓練目的と整合する。
• EMアルゴリズムを用いてVQ-VAEのボトルネックにソフトクラスタリングを適用し、条件付きエントロピー H(p(Z|I)) を増加させ、VIB目的を近似する。
• 元のVQ-VAEは一様な r(z) を仮定したVDIBに対応するが、EMで訓練されたVQ-VAEはソフト割り当てにより非一様な p(Z|I) を持つVIBに対応する。

実験結果

リサーチクエスチョン

• RQ1 元のVQ-VAE損失関数は、既知の情報理論的原理から導出可能か？
• RQ2 EMベースのVQ-VAE訓練は、変分情報ボトルネック（VIB）原理とどのように関係するか？
• RQ3 なぜEMベースのVQ-VAEは標準的なVQ-VAEよりも高い潜在パープレキシティを達成するのか？
• RQ4 条件付きエントロピー H(p(Z|I)) が表現品質の向上に果たす役割は何か？
• RQ5 離散オートエンコーダーへの適用において、VDIBとVIB原理はどのように比較できるか？

主な発見

• 元のVQ-VAE損失関数は、事前分布 r(z) が一様である場合、変分決定的情報ボトルネック（VDIB）目的関数と等価である。
• EMで訓練されたVQ-VAEは、ソフト割り当てを明示的にモデル化することで、変分情報ボトルネック（VIB）原理を近似する。この際、条件付きエントロピー H(p(Z|I)) が増加する。
• EMで訓練されたVQ-VAEにおけるソフトクラスタリングは、潜在表現のパープレキシティを向上させる。これは先行研究の実証結果でも確認されている。
• VQ-VAEにおけるコミットメント損失は、エンコーダーがコードブックにコミットするのを促し、これはVDIBにおける交差エントロピー項の最小化に対応する。
• VQ-VAEの再構成項は、VIBおよびVDIBの両方における歪み項に対応し、真の分布と再構成済みデータ分布のKLダイバージェンスを最小化する。
• ストップ・グラデントの使用により、量子化済みコードを通じてバックプロパゲーションがデコーダーのみに適用されるよう保証され、これはVDIB訓練手順と整合する。