[論文レビュー] Bounded Information Rate Variational Autoencoders

Daniel T. Braithwaite, W. Bastiaan Kleijn|arXiv (Cornell University)|Jul 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 11

ひとこと要約

本稿では、符号化器出力に追加されるガウスノイズの分散を固定することにより、潜在変数チャネルの情報レートを制約する、境界付き情報レート変分オートエンコーダー（BIR-VAE）を提案する。情報レートを次元あたりビット単位で直接設定することで、相互情報量の近似に比べて計算複雑性が低く抑えられ、制御可能で意味のある表現学習が可能となり、InfoVAEなどの最先端モデルと同等の性能を達成するとともに、過学習の防止も可能である。

ABSTRACT

This paper introduces a new member of the family of Variational Autoencoders (VAE) that constrains the rate of information transferred by the latent layer. The latent layer is interpreted as a communication channel, the information rate of which is bound by imposing a pre-set signal-to-noise ratio. The new constraint subsumes the mutual information between the input and latent variables, combining naturally with the likelihood objective of the observed data as used in a conventional VAE. The resulting Bounded-Information-Rate Variational Autoencoder (BIR-VAE) provides a meaningful latent representation with an information resolution that can be specified directly in bits by the system designer. The rate constraint can be used to prevent overtraining, and the method naturally facilitates quantisation of the latent variables at the set rate. Our experiments confirm that the BIR-VAE has a meaningful latent representation and that its performance is at least as good as state-of-the-art competing algorithms, but with lower computational complexity.

研究の動機と目的

• 良好な尤度モデリングを達成しても意味のある潜在特徴を学習できない標準VAEの表現品質の低さに対処すること。
• 相互情報量の近似や最適化に依存する既存のVAE拡張手法の限界を克服すること。
• 潜在チャネルにおける情報レートを原理的かつ直接的に制御する方法を提供し、設計者が次元あたりビット単位で解像度を指定できるようにすること。
• 相互情報量に基づく手法と比較して計算負荷を低減しつつ、高い生成品質を維持するモデルを開発すること。
• 制約付き情報レートが一般化性能の向上をもたらし、潜在コードの量子化およびエントロピー符号化を容易にすることを示すこと。

提案手法

• BIR-VAEは、符号化器出力に固定分散のガウスノイズ層を導入し、ノイズ分散を情報レートを制御するために設定する。
• 情報レート I は、σ²_ε = 4^(-I/d) という式で決定され、ここで d は潜在次元数である。これにより、次元あたりビット単位でのレートの直接指定が可能である。
• デコーダー入力は単位ガウス分布に従うように制約され、潜在空間に標準事前分布を保証する。
• モデルは標準VAEの下界（ELBO）を最適化し、尤度最大化とKLダイバージェンスの最小化を統合する。
• 本手法は、相互情報量の最大化をレート制約下で自然に含み込み、相互情報量の明示的推定を必要としない。
• フレームワークにより、指定されたレートで潜在変数を直接量子化でき、得られたビットストリームはエントロピー符号化が可能である。

実験結果

リサーチクエスチョン

• RQ1 相互情報量の近似なしに、潜在チャネルにおける情報レートを直接制御できるVAEを設計できるか？
• RQ2 情報レートを制約することで、標準VAEと比較してより意味的で分離可能な潜在表現が得られるか？
• RQ3 BIR-VAEは、相互情報量に基づく手法と同等の性能を発揮しながら、計算複雑性を低減できるか？
• RQ4 潜在次元数の選択が情報レートとどのように作用し、生成品質に影響を与えるか？
• RQ5 BIR-VAEは、符号化・復元に適したトレーニング可能でレート制御可能なエンコーダ・デコーダーシステムとして、圧縮や伝送に利用できるか？

主な発見

• BIR-VAEは、InfoVAEモデルと同等の生成性能を達成しており、特にInfoVAEの情報志向パラメータ α を 0.9 に設定した場合に顕著である。
• SVHN データセットにおいて、情報レートが約 132 ビット/画像の BIR-VAE は、テストMSEが 14.92 に達し、α=0.9 の InfoVAE と同等の性能を示した。
• 5次元の潜在空間と約 33 ビット/画像のレートを用いた BIR-VAE は、2次元バージョンよりもシャープで詳細なサンプルを生成した。これは、次元数がレートとは独立して品質に影響を与えることを示している。
• SVHN において、約 66 ビット/画像のレートを用いた BIR-VAE は、テストMSEが 17.97 に達し、α=0 の InfoVAE を上回った。
• 情報レートが正則化因子として機能するため、データ量が少ない状況でも過学習が抑制される。
• BIR-VAE は指定されたレートで潜在変数を直接量子化でき、得られたビットストリームはターゲットレートに非常に近いエントロピー符号化が可能である。