[论文解读] Bounded Information Rate Variational Autoencoders

Daniel T. Braithwaite, W. Bastiaan Kleijn|arXiv (Cornell University)|Jul 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 11

一句话总结

本文提出有界信息速率变分自编码器（BIR-VAE），通过固定添加到编码器输出的高斯噪声方差，对潜在变量通道的信息速率进行约束。通过直接设定每维度的比特数信息速率，该方法实现了计算复杂度更低的可控、有意义的表征学习，优于互信息近似方法，性能与InfoVAE等最先进模型相当，同时有效防止过拟合。

ABSTRACT

This paper introduces a new member of the family of Variational Autoencoders (VAE) that constrains the rate of information transferred by the latent layer. The latent layer is interpreted as a communication channel, the information rate of which is bound by imposing a pre-set signal-to-noise ratio. The new constraint subsumes the mutual information between the input and latent variables, combining naturally with the likelihood objective of the observed data as used in a conventional VAE. The resulting Bounded-Information-Rate Variational Autoencoder (BIR-VAE) provides a meaningful latent representation with an information resolution that can be specified directly in bits by the system designer. The rate constraint can be used to prevent overtraining, and the method naturally facilitates quantisation of the latent variables at the set rate. Our experiments confirm that the BIR-VAE has a meaningful latent representation and that its performance is at least as good as state-of-the-art competing algorithms, but with lower computational complexity.

研究动机与目标

• 为解决标准VAE表征质量差的问题，后者虽在似然建模方面表现良好，却常无法学习到有意义的潜在特征。
• 克服现有VAE扩展方法依赖互信息近似或优化的局限性，后者显著增加了训练复杂度。
• 提供一种原理清晰、直接控制潜在通道信息速率的方法，使设计者能够以每维度比特数指定分辨率。
• 开发一种在保持高生成质量的同时，相比基于互信息的方法显著降低计算开销的模型。
• 证明约束信息速率可提升泛化能力，并促进潜在码的量化与熵编码。

提出的方法

• BIR-VAE在编码器输出引入一个固定方差的高斯噪声层，其中噪声方差被设定为控制信息速率。
• 信息速率I由公式σ²_ε = 4^(-I/d)确定，其中d为潜在维度，从而可直接指定每维度的速率。
• 解码器输入被约束为服从标准正态分布，以确保潜在空间的标准化先验。
• 模型优化标准VAE的证据下界（ELBO），结合似然最大化与KL散度最小化。
• 该方法在速率约束下自然涵盖互信息最大化，无需显式估计互信息。
• 该框架支持在指定速率下对潜在变量进行直接量化，并支持对生成比特流进行熵编码。

实验结果

研究问题

• RQ1 能否设计一种VAE，直接控制潜在通道中的信息速率，而无需对互信息进行近似？
• RQ2 与标准VAE相比，约束信息速率是否能带来更清晰、更解耦的潜在表征？
• RQ3 BIR-VAE能否在降低计算复杂度的同时，实现与InfoVAE等最先进模型相当的性能？
• RQ4 潜在维度的选择如何与信息速率相互作用，进而影响生成质量？
• RQ5 BIR-VAE能否作为可训练的、速率可控的编码器-解码器系统，适用于压缩或传输？

主要发现

• BIR-VAE在生成性能上与InfoVAE模型相当，尤其当InfoVAE的信息偏好参数α设为0.9时表现突出。
• 在SVHN数据集上，BIR-VAE在信息速率为约132比特/图像时，测试MSE为14.92，与α=0.9的InfoVAE性能一致。
• 当潜在空间为5维且速率为约33比特/图像时，BIR-VAE生成的样本比2维版本更清晰、细节更丰富，表明维度对质量的影响独立于速率。
• 在SVHN数据集上，BIR-VAE在信息速率约66比特/图像时，测试MSE为17.97，优于α=0的InfoVAE。
• 该方法通过约束信道容量防止低数据量场景下的过拟合，因信息速率起到了正则化作用。
• BIR-VAE支持在指定速率下对潜在变量进行直接量化，且生成的比特流可经熵编码后紧密匹配目标速率。