[论文解读] AVT: Unsupervised Learning of Transformation Equivariant Representations by Autoencoding Variational Transformations

Guo-Jun Qi, Liheng Zhang+2 more|arXiv (Cornell University)|Mar 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

本文提出 AVT，一种新颖的无监督表示学习方法，通过变分推断最大化变换与图像表示之间的互信息，以训练变换等变特征。通过引入变换解码器来近似难以处理的后验分布，AVT 在 ImageNet 和 Places 数据集上超越了先前的无监督模型，将与监督基线之间的性能差距缩小了超过 11%。

ABSTRACT

The learning of Transformation-Equivariant Representations (TERs), which is introduced by Hinton et al. \cite{hinton2011transforming}, has been considered as a principle to reveal visual structures under various transformations. It contains the celebrated Convolutional Neural Networks (CNNs) as a special case that only equivary to the translations. In contrast, we seek to train TERs for a generic class of transformations and train them in an {\em unsupervised} fashion. To this end, we present a novel principled method by Autoencoding Variational Transformations (AVT), compared with the conventional approach to autoencoding data. Formally, given transformed images, the AVT seeks to train the networks by maximizing the mutual information between the transformations and representations. This ensures the resultant TERs of individual images contain the {\em intrinsic} information about their visual structures that would equivary {\em extricably} under various transformations in a generalized {\em nonlinear} case. Technically, we show that the resultant optimization problem can be efficiently solved by maximizing a variational lower-bound of the mutual information. This variational approach introduces a transformation decoder to approximate the intractable posterior of transformations, resulting in an autoencoding architecture with a pair of the representation encoder and the transformation decoder. Experiments demonstrate the proposed AVT model sets a new record for the performances on unsupervised tasks, greatly closing the performance gap to the supervised models.

研究动机与目标

• 开发一种无监督表示学习框架，其泛化能力超越平移等变性，适用于任意变换。
• 利用信息论，特别是变换与表示之间的互信息，将变换等变性形式化为学习目标。
• 通过引入带有变换解码器的变分下界，解决直接最大化互信息的不可行性问题。
• 学习保留内在视觉结构的表示，同时支持变换解码，避免过度拟合图像重建细节。
• 在标准基准上缩小无监督与监督表示学习之间的性能差距。

提出的方法

• AVT 将表示学习表述为最大化变换与图像表示之间互信息的问题，确保对通用变换类别的等变性。
• 引入变分下界以近似给定表示下难以处理的变换后验分布，从而实现可微训练。
• 该方法采用双流架构：表示编码器处理变换后的图像，变换解码器从表示中重建变换。
• 通过优化变分下界实现端到端训练，该下界促使表示仅保留重建变换所必需的信息。
• 该方法避免了数据重建的强假设，转而专注于学习最小且信息丰富的表示以预测变换。
• 通过利用信息论原理，将线性变换等变网络推广至非线性变换。

实验结果

研究问题

• RQ1 变换与表示之间的互信息最大化是否能有效实现通用变换等变特征的无监督学习？
• RQ2 在深度学习框架中，如何高效近似难以处理的互信息最大化问题？
• RQ3 学习重建变换而非图像是否能带来更优、更具泛化能力的表示？
• RQ4 此类表示学习方法在下游任务中能在多大程度上缩小与监督模型的性能差距？
• RQ5 所提出的方法能否超越平移变换，推广至如扭曲和射影变换等复杂非线性变换？

主要发现

• 在 ImageNet 上，AVT 在 Conv5 上达到 22.3% 的 Top-1 准确率，优于先前最先进方法 AET-project 的 20.8%，并将与完全监督上界之间的差距缩小至仅 5.5%。
• 在 CIFAR-10 上，AVT 在 Conv5 上使用线性分类器达到 44.4% 的 Top-1 准确率，优于先前最先进方法 AET-project 的 41.3%。
• 在 Places 数据集上，AVT 在 Conv5 上达到 35.6% 的 Top-1 准确率，在无监督模型中排名第二，显著优于先前的无监督方法。
• 性能提升在多个网络层（Conv1 至 Conv5）中保持一致，表明所学特征具有鲁棒性和泛化能力。
• 与先前最先进方法相比，AVT 在 Conv4 上将性能差距缩小了 15%，在 Conv5 上缩小了 11%，表明其具备强大的泛化能力。
• 消融实验表明，AVT 专注于变换重建，相比基于数据重建的自编码器，其表示更紧凑且信息更丰富。