[论文解读] Context Autoencoder for Self-Supervised Representation Learning

Xiaokang Chen, Mingyu Ding+8 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出上下文自编码器（CAE），一种自监督表征学习方法，通过在编码空间中预测掩码块表示并从这些预测中重建块，从而改进掩码图像建模。通过采用编码器-回归器-解码器架构，将表征学习与重建任务解耦，CAE在语义分割、目标检测和分类等下游任务上达到最先进性能，优于监督和对比自监督预训练基线。

ABSTRACT

We present a novel masked image modeling (MIM) approach, context autoencoder (CAE), for self-supervised representation pretraining. We pretrain an encoder by making predictions in the encoded representation space. The pretraining tasks include two tasks: masked representation prediction - predict the representations for the masked patches, and masked patch reconstruction - reconstruct the masked patches. The network is an encoder-regressor-decoder architecture: the encoder takes the visible patches as input; the regressor predicts the representations of the masked patches, which are expected to be aligned with the representations computed from the encoder, using the representations of visible patches and the positions of visible and masked patches; the decoder reconstructs the masked patches from the predicted encoded representations. The CAE design encourages the separation of learning the encoder (representation) from completing the pertaining tasks: masked representation prediction and masked patch reconstruction tasks, and making predictions in the encoded representation space empirically shows the benefit to representation learning. We demonstrate the effectiveness of our CAE through superior transfer performance in downstream tasks: semantic segmentation, object detection and instance segmentation, and classification. The code will be available at https://github.com/Atten4Vis/CAE.

研究动机与目标

• 通过将编码器训练与重建任务解耦，改进自监督表征学习。
• 解决现有掩码图像建模（MIM）方法在单一网络中混合表征学习与重建的局限性。
• 通过利用可见块特征和位置信息，在编码表示空间中进行预测，提升表征质量。
• 通过实证验证，潜空间中的预测可改善语义表征学习。
• 在分类、检测和分割等下游任务上展示优越的迁移性能。

提出的方法

• 模型采用编码器-回归器-解码器架构：编码器仅处理可见块以提取其表征。
• 潜在上下文回归器利用可见块的表征及其空间位置，预测掩码块的表征。
• 预测的掩码表征与通过编码器计算的真实表征对齐，通过对比对齐损失强制一致性。
• 独立的解码器从预测表征中重建原始掩码块，支持端到端训练。
• 预训练任务结合掩码表征预测与掩码块重建，采用加权损失函数平衡两项目标。
• 编码器仅在可见块上进行训练，确保其主要职责为表征学习，而重建与预测由回归器和解码器处理。

实验结果

研究问题

• RQ1 在编码空间中预测掩码块表征是否能改善自监督表征学习？
• RQ2 将表征学习与重建解耦是否能带来更好的下游性能？
• RQ3 在标准基准上，CAE与监督预训练和对比自监督方法相比性能如何？
• RQ4 不同重建目标（如DALL-E分词器、d-VAE、RGB像素）对CAE性能有何影响？
• RQ5 掩码比例如何影响学习表征的泛化性与鲁棒性？

主要发现

• 在ImageNet-1K上，CAE的线性探测准确率达到72.4%，优于监督预训练和对比自监督方法。
• 在ADE20K数据集上，CAE在语义分割任务中达到50.4%的mIoU，超过以往的MIM和对比方法。
• 在50%掩码比例下，CAE在性能上达到最佳平衡，线性探测准确率为64.2%，在多数指标上优于40%和60%的掩码比例。
• 使用RGB像素值作为重建目标时，线性探测（72.4%）和分割（50.4%）结果最佳，尽管注意力探测略逊于其他分词器。
• 4层回归器与解码器架构取得最佳整体性能，线性探测准确率为64.1%，注意力探测准确率为73.8%。
• 损失权衡参数λ = 2时性能最佳（线性探测准确率64.1%），但λ = 1.5和λ = 1也表现良好。