[论文解读] Invertible Autoencoder for domain adaptation

Yunfei Teng, Anna Choromanska+1 more|arXiv (Cornell University)|Feb 10, 2018

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出一种用于无监督图像到图像域适应的可逆自编码器（InvAuto），通过共享参数并强制正交性，显式地在编码器与解码器之间建立逆映射，将可训练参数减少高达50%。该方法在基准数据集上达到最先进性能，并实现了高质量的视频转换，同时保持了自动驾驶模型（如PilotNet）的性能。

ABSTRACT

The unsupervised image-to-image translation aims at finding a mapping between the source ($A$) and target ($B$) image domains, where in many applications aligned image pairs are not available at training. This is an ill-posed learning problem since it requires inferring the joint probability distribution from marginals. Joint learning of coupled mappings $F_{AB}: A ightarrow B$ and $F_{BA}: B ightarrow A$ is commonly used by the state-of-the-art methods, like CycleGAN [Zhu et al., 2017], to learn this translation by introducing cycle consistency requirement to the learning problem, i.e. $F_{AB}(F_{BA}(B)) \approx B$ and $F_{BA}(F_{AB}(A)) \approx A$. Cycle consistency enforces the preservation of the mutual information between input and translated images. However, it does not explicitly enforce $F_{BA}$ to be an inverse operation to $F_{AB}$. We propose a new deep architecture that we call invertible autoencoder (InvAuto) to explicitly enforce this relation. This is done by forcing an encoder to be an inverted version of the decoder, where corresponding layers perform opposite mappings and share parameters. The mappings are constrained to be orthonormal. The resulting architecture leads to the reduction of the number of trainable parameters (up to $2$ times). We present image translation results on benchmark data sets and demonstrate state-of-the art performance of our approach. Finally, we test the proposed domain adaptation method on the task of road video conversion. We demonstrate that the videos converted with InvAuto have high quality and show that the NVIDIA neural-network-based end-to-end learning system for autonomous driving, known as PilotNet, trained on real road videos performs well when tested on the converted ones.

研究动机与目标

• 解决无监督图像到图像翻译中缺乏成对训练数据的病态问题。
• 在循环一致性之外，显式强制源域到目标域与目标域到源域映射之间的逆关系。
• 通过在编码器与解码器层之间共享参数，降低模型复杂度。
• 提升域适应后图像在下游任务（如自动驾驶）中的泛化能力与可迁移性。
• 证明可逆架构能够生成高质量的翻译结果，适用于实际部署。

提出的方法

• InvAuto架构通过共享权重并约束映射为正交，强制编码器与解码器层执行逆操作。
• 每个编码器层与对应的解码器层配对，执行相反的变换，且该配对间共享参数。
• 模型使用正交权重矩阵，以确保变换稳定且可逆，最小化映射中的失真。
• 训练目标结合对抗损失与循环一致性损失，并增加约束：正向与反向映射的复合近似恒等映射。
• 该架构在MNIST与CIFAR数据集上，采用MLP与ResNet-based模型，应用于图像到图像翻译任务。
• 在地图到卫星图像、夜间到白天视频转换等域适应任务上进行评估，并对参数效率与重建质量进行消融分析。

实验结果

研究问题

• RQ1 在编码器与解码器之间显式强制可逆性，是否能超越循环一致性，在无监督域适应中带来性能提升？
• RQ2 在可逆自编码器中通过参数共享（权重绑定）是否能降低模型复杂度而不损失性能？
• RQ3 生成的翻译结果是否能充分保持语义与结构保真度，从而维持下游模型（如自动驾驶中的PilotNet）的性能？
• RQ4 与SOTA方法（如CycleGAN与UNIT）相比，InvAuto在图像质量与参数效率方面表现如何？
• RQ5 正交性约束在多大程度上提升了学习映射的稳定性和可逆性？

主要发现

• InvAuto在基准图像翻译任务上达到最先进性能，与CycleGAN性能相当或略低，但参数效率更高。
• 在InvAuto中，矩阵乘积DE最接近单位矩阵，证实编码器-解码器对几乎为精确逆映射，而CycleGAN与VAE则不具备此特性。
• 在自动驾驶基准测试中，InvAuto生成的白天到夜间及夜间到白天视频使PilotNet实现99.0%的自主性与69.6%的位置精度，与CycleGAN相当，显著优于原始夜间视频。
• 由于编码器与解码器层之间的权重共享，该方法将可训练参数数量最多减少50%。
• InvAuto保持了高质量视频输出，帧间不一致性极低，NVIDIA评估系统中的稳定性能指标验证了这一点。
• 数值评估显示，InvAuto的FID分数处于CycleGAN与UNIT的范围内，FID分别为0.062（白天到夜间）与0.080（夜间到白天），接近CycleGAN的最佳结果。