[论文解读] Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations

Guo-Jun Qi, Liheng Zhang+1 more|arXiv (Cornell University)|Jun 19, 2019

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出自动编码变换（AET）与自动编码变分变换（AVT），通过从编码图像表征中重建所应用的变换，学习广义变换等变表征（GTERs）。该方法通过端到端训练捕捉复杂非线性变换等变性，在无监督和半监督学习中优于最先进模型。

ABSTRACT

Transformation Equivariant Representations (TERs) aim to capture the intrinsic visual structures that equivary to various transformations by expanding the notion of {\em translation} equivariance underlying the success of Convolutional Neural Networks (CNNs). For this purpose, we present both deterministic AutoEncoding Transformations (AET) and probabilistic AutoEncoding Variational Transformations (AVT) models to learn visual representations from generic groups of transformations. While the AET is trained by directly decoding the transformations from the learned representations, the AVT is trained by maximizing the joint mutual information between the learned representation and transformations. This results in Generalized TERs (GTERs) equivariant against transformations in a more general fashion by capturing complex patterns of visual structures beyond the conventional linear equivariance under a transformation group. The presented approach can be extended to (semi-)supervised models by jointly maximizing the mutual information of the learned representation with both labels and transformations. Experiments demonstrate the proposed models outperform the state-of-the-art models in both unsupervised and (semi-)supervised tasks.

研究动机与目标

• 为解决群等变CNN的局限性，即其仅限于离散线性变换，且无法推广至复杂连续或非线性变换。
• 开发一种灵活可扩展的框架，用于学习对任意变换群（包括仿射、投影和同调变换）等变的视觉表征。
• 通过联合最大化表征与变换及标签之间的互信息，将该方法扩展至半监督和监督设置。
• 证明从表征中重建变换可生成比标准数据自动编码或数据增强更强大且泛化能力更强的特征。

提出的方法

• 提出自动编码变换（AET），一种自编码器式架构，其中解码器从原始图像与变换后图像的编码表征中重建所应用的变换。
• 引入自动编码变分变换（AVT），一种概率变体，通过变分下界最大化表征与变换之间的互信息。
• 使用替代变换解码器近似AVT中难以处理的互信息最大化，通过变分下界实现端到端训练。
• 通过（半）监督自动编码变换（SAT）模型将框架扩展至（半）监督学习，联合优化与标签及变换的互信息。
• 对输入图像与变换后图像使用共享编码器，确保表征变化与所应用变换相匹配，从而强制实现等变性。
• 利用变换空间的低维特性，实现高效浅层解码器，促进更好的反向传播与表征学习。

实验结果

研究问题

• RQ1 通过自动编码进行变换重建，是否能比标准数据自动编码生成更鲁棒且泛化能力更强的视觉表征？
• RQ2 所提出的AET与AVT框架是否能学习广义变换等变表征，超越线性离散群，包括连续与非线性变换？
• RQ3 SAT中对变换与标签信息的联合建模，相比标准数据增强或熵最小化，在半监督学习中性能提升如何？
• RQ4 所学习的表征在多大程度上能捕捉由投影失真等复杂视觉结构诱导的变换？
• RQ5 该方法在无监督与半监督图像分类基准测试中是否优于现有最先进模型？

主要发现

• SAT模型在仅使用4,000个标注样本的CIFAR-10上达到11.05%的测试错误率，显著优于相同设置下的数据增强变换（DAT）基线（27.99%）。
• 即使不使用熵最小化，SAT模型仍优于最先进的半监督方法（如Mean Teacher、Temporal Ensembling与Π-model），证明其鲁棒性与有效性。
• AET与AVT模型通过变换重建捕捉复杂视觉结构，在无监督表征学习中表现优异，超越传统自动编码与群等变CNN。
• 消融研究证实，无论是否使用熵最小化，SAT模型始终优于VAT（虚拟对抗训练），凸显学习变换等变特征的优势。
• 该方法在各类任务中泛化良好，具有在语义分割、目标检测、超分辨率、少样本学习与细粒度分类中应用的潜力。
• AVT变体通过使用变分下界成功处理了难以处理的互信息最大化，实现了稳定训练与有效的表征学习。