[论文解读] Understanding disentangling in $\beta$-VAE

Christopher Burgess, Irina Higgins+5 more|arXiv (Cornell University)|Apr 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 1被引用 280

一句话总结

本文分析了为何 β-VAE 通过信息瓶颈视角学习可解耦的表征，并提出一种容量增加的训练范式以提升解耦和重建。

ABSTRACT

We present new intuitions and theoretical assessments of the emergence of disentangled representation in variational autoencoders. Taking a rate-distortion theory perspective, we show the circumstances under which representations aligned with the underlying generative factors of variation of data emerge when optimising the modified ELBO bound in $\\beta$-VAE, as training progresses. From these insights, we propose a modification to the training regime of $\\beta$-VAE, that progressively increases the information capacity of the latent code during training. This modification facilitates the robust learning of disentangled representations in $\\beta$-VAE, without the previous trade-off in reconstruction accuracy.

研究动机与目标

• 从信息率-失真角度探讨 β-VAE 如何促使解耦表征。
• 理解信息瓶颈的作用以及后验-先验容量在塑造潜在轴向中的作用。
• 提出逐步增加潜在容量的训练修改，以在不牺牲重建质量的情况下改善解耦。

提出的方法

• 将 β-VAE 框架视为信息瓶颈，其中 q(z|x) 作为将数据信息传输给解码器的嘈杂信道。
• 将 β 加权的 KL 项与通过潜在信道传输的信息的上界相关联。
• 使用简化模型在容量约束下展示按因子对信息的分配（每个因子 对应的 KL 项）。
• 使用一个容量控制目标，在训练过程中逐步提高目标 KL（容量），以鼓励序列式解耦。
• 在像 dSprites 和 chairs 这样的数据集上训练，以可视化潜在遍历和因子对齐。

实验结果

研究问题

• RQ1 为何 β-VAE 倾向于将潜在轴与底层生成变异因素对齐？
• RQ2 在训练期间增加潜在容量如何影响解耦与重建质量？
• RQ3 受控的容量增加是否能在不同数据集（例如 dSprites、3D Chairs）上实现鲁棒的解耦？
• RQ4 与标准 VAE 相比，哪些因素促成表征的局部性和轴对齐？

主要发现

• β-VAE 的解耦来自于在保留数据局部性的同时分配容量给对数据似然贡献最大的因子的压力。
• 逐步增加潜在容量会使潜在因子对齐到对应的独立生成因素（位置、尺度、形状、旋转、颜色）。
• 容量增加的训练范式在解耦方面表现鲁棒，并在重建质量上相较固定的 β-VAE 目标得到了提升。
• 在有色 dSprites 和 3D Chairs 上，潜在遍历显示因子特定的变化与高质量重建，表明可解释的解耦轴。
• 所提出的容量控制目标（逐步接近目标 KL）实现了解耦而不再有典型的重建-解耦权衡。