[论文解读] Improving Content-Invariance in Gated Autoencoders for 2D and 3D Object Rotation

Stefan Lattner, Maarten Grachten|arXiv (Cornell University)|Jul 5, 2017

Advanced Vision and Imaging参考文献 19被引用 3

一句话总结

本文为门控自编码器（GAEs）提出了一种内容不变性正则化（CIR）损失，以提升其在2D和3D物体旋转任务中学习内容不变表示的能力。通过采用自举的无监督方法，对具有相似变换类型的样本对施加交叉重建误差惩罚，CIR在不损害重建性能的前提下增强了映射码的不变性，从而提升了潜在空间中的类比推理能力与聚类性能。

ABSTRACT

Content-invariance in mapping codes learned by GAEs is a useful feature for various relation learning tasks. In this paper we show that the content-invariance of mapping codes for images of 2D and 3D rotated objects can be substantially improved by extending the standard GAE loss (symmetric reconstruction error) with a regularization term that penalizes the symmetric cross-reconstruction error. This error term involves reconstruction of pairs with mapping codes obtained from other pairs exhibiting similar transformations. Although this would principally require knowledge of the transformations exhibited by training pairs, our experiments show that a bootstrapping approach can sidestep this issue, and that the regularization term can effectively be used in an unsupervised setting.

研究动机与目标

• 提升GAE在2D和3D物体旋转任务中的内容不变性，因为现有模型仅表现出微弱的不变性。
• 开发一种正则化方法，以增强映射码不变性，且无需依赖标签化的变换类型。
• 评估内容不变性正则化是否能同时提升表示质量与下游任务（如类比推理）的性能。
• 证明该正则化可在完全无监督设置下通过自举策略应用。
• 展示该正则化不会降低标准GAE的重建性能，甚至可能有所提升。

提出的方法

• 引入一种内容不变性正则化（CIR）项，用于惩罚共享相似变换类型的图像对之间的对称交叉重建误差。
• 采用自举方法在训练过程中估计变换相似性，避免对真实变换标签的依赖。
• 将标准GAE的对称重建损失扩展为包含CIR项，以联合优化重建与内容不变性。
• 仅对映射码相似的样本对应用CIR项，假设相似的码表示相似的变换。
• 在训练过程中逐步增加CIR项的影响，以在无监督设置下稳定学习过程。
• 采用具有乘法（门控）连接的GAE架构，以解耦内容与变换的表示。

实验结果

研究问题

• RQ1 能否通过正则化项提升GAE在2D和3D物体旋转任务中映射码的内容不变性？
• RQ2 是否可能在无真实变换标签的无监督设置下实现此类正则化？
• RQ3 CIR正则化是否能同时提升表示质量与下游任务（如类比推理）的性能？
• RQ4 CIR正则化是否干扰或改善标准GAE的重建损失？
• RQ5 自举策略能否在无监督条件下有效估计变换相似性以支持正则化？

主要发现

• CIR正则化显著降低了相似变换对之间的交叉重建误差，GAE+CIR模型在NORB数据集上的误差最低（0.174 vs. 2.351，标准GAE）。
• 在MNISTr20数据集上，CIR模型的对称重建误差为0.0130，低于标准GAE的0.0173，表明重建性能有所提升。
• CIR模型在映射码空间中表现出更优的聚类分离效果，表现为更高的类间距离与更低的类内方差，说明内容不变性更优。
• 在基于映射码的k近邻分类中，CIR模型取得了更高的准确率，表明其表示更具判别性与不变性。
• 定性类比推理结果表明，GAE+CIR在模糊情况（如180度旋转）下生成了更清晰、更准确的变换。
• 尽管存在竞争目标，CIR正则化通常降低了标准GAE损失，表明重建与不变性之间存在协同效应。