[论文解读] High Fidelity Visualization of What Your Self-Supervised Representation Knows About

Florian Bordes, Randall Balestriero+1 more|arXiv (Cornell University)|Dec 16, 2021

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

本文提出一种表示条件扩散模型（RCDM），用于在高保真图像空间中可视化自监督表示空间，实现基于学习到的表示对输入的忠实重建。该方法表明，自监督表示骨干网络对数据增强并非不变，而后续投影器特征则是不变的，并且证明了自监督表示对对抗性扰动更具鲁棒性，且表现出结构化、可操作的特征。

ABSTRACT

Discovering what is learned by neural networks remains a challenge. In self-supervised learning, classification is the most common task used to evaluate how good a representation is. However, relying only on such downstream task can limit our understanding of what information is retained in the representation of a given input. In this work, we showcase the use of a Representation Conditional Diffusion Model (RCDM) to visualize in data space the representations learned by self-supervised models. The use of RCDM is motivated by its ability to generate high-quality samples -- on par with state-of-the-art generative models -- while ensuring that the representations of those samples are faithful i.e. close to the one used for conditioning. By using RCDM to analyze self-supervised models, we are able to clearly show visually that i) SSL (backbone) representation are not invariant to the data augmentations they were trained with -- thus debunking an often restated but mistaken belief; ii) SSL post-projector embeddings appear indeed invariant to these data augmentation, along with many other data symmetries; iii) SSL representations appear more robust to small adversarial perturbation of their inputs than representations trained in a supervised manner; and iv) that SSL-trained representations exhibit an inherent structure that can be explored thanks to RCDM visualization and enables image manipulation.

研究动机与目标

• 为解决自监督表示学习中缺乏视觉可解释性的问题，特别是针对与重建或生成无直接关联的表示。
• 探究自监督表示是否真正对数据增强具有不变性，这是自监督学习中的核心假设。
• 探索自监督表示相较于监督模型，在面对微小对抗性扰动时的鲁棒性。
• 揭示自监督表示中可分离、结构化的因子，以实现有意义的图像操作。
• 提供一种基于学习表示的高保真生成的诊断工具，用于模型失效分析。

提出的方法

• 作者采用一种条件扩散模型（RCDM），通过表示向量生成高保真图像，确保生成图像的表示与输入条件向量高度匹配。
• RCDM通过对比损失函数最小化生成图像与条件表示之间的表示距离，以强化生成的保真度。
• 该方法基于ResNet50或视觉Transformer（ViT）骨干网络提取的特征进行条件生成，涵盖未训练、监督和自监督模型。
• 该方法通过条件生成实现对表示空间的视觉探测，使对象身份、背景和颜色等解耦因子得以操控。
• RCDM在多个训练阶段（1、5、50个周期）上应用，以可视化学习特征随时间的演变过程。
• 该方法在ImageNet和真实世界图像（如NASA拍摄的地球图像）上进行了验证，并对增强方案进行了消融研究。

实验结果

研究问题

• RQ1 自监督表示是否真正对颜色抖动、裁剪等数据增强具有不变性？
• RQ2 自监督骨干网络学习到的表示与监督模型相比，在对抗性扰动下的鲁棒性如何？
• RQ3 自监督表示是否包含可操作的结构化、解耦因子，可用于生成新颖的图像构图？
• RQ4 表示在训练过程中如何演变？哪些特征最先被学习？
• RQ5 基于表示的高保真生成能否揭示隐藏偏差或过拟合现象，例如基于颜色的记忆化？

主要发现

• 自监督骨干网络表示对数据增强并非不变，这与广泛持有的错误假设相矛盾。
• 后投影器的自监督特征对数据增强及其他对称变换表现出强不变性，证实了投影器在实现不变性中的关键作用。
• 通过在扰动输入下进行条件生成，证明自监督表示比监督表示对微小对抗性扰动具有显著更强的鲁棒性。
• RCDM生成的图像表明，自监督表示编码了结构化、可解耦的因子，如对象身份和背景，从而可实现背景替换等新颖图像操作。
• 在无颜色增强训练自监督模型时，表示会记忆颜色和纹理统计特征，这通过RCDM样本得到验证：颜色被保留但形状无法重建。
• 训练初期（1个周期后），自监督表示首先编码颜色和纹理信息，而形状细节仅在5–50个周期后才逐渐显现，表明结构特征是逐步学习的。