[论文解读] Hybrid Generative-Contrastive Representation Learning

Saehoon Kim, Sungwoong Kim+1 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 5

一句话总结

本文提出生成对比表示学习（GCRL），一种混合框架，通过单一基于Transformer的编码器-解码器架构联合优化对比学习与生成学习目标。通过在池化后的编码器特征上应用实例级对比损失，并在解码器输出上应用自回归似然损失，GCRL在图像分类和分布外检测任务中均优于纯对比学习与纯生成学习预训练方法，展现出更优的判别性能与对分布偏移的鲁棒性。

ABSTRACT

Unsupervised representation learning has recently received lots of interest due to its powerful generalizability through effectively leveraging large-scale unlabeled data. There are two prevalent approaches for this, contrastive learning and generative pre-training, where the former learns representations from instance-wise discrimination tasks and the latter learns them from estimating the likelihood. These seemingly orthogonal approaches have their own strengths and weaknesses. Contrastive learning tends to extract semantic information and discards details irrelevant for classifying objects, making the representations effective for discriminative tasks while degrading robustness to out-of-distribution data. On the other hand, the generative pre-training directly estimates the data distribution, so the representations tend to be robust but not optimal for discriminative tasks. In this paper, we show that we could achieve the best of both worlds by a hybrid training scheme. Specifically, we demonstrated that a transformer-based encoder-decoder architecture trained with both contrastive and generative losses can learn highly discriminative and robust representations without hurting the generative performance. We extensively validate our approach on various tasks.

研究动机与目标

• 解决无监督表示学习中判别能力与鲁棒性之间的权衡问题。
• 克服标准预训练框架中对比学习与生成学习目标的不兼容性。
• 提升低数据量与分布外设置下的泛化能力与不确定性校准性能。
• 在提升下游分类准确率的同时保持强大的生成性能。
• 实现统一且参数高效的训练方案，无需专用模块或归纳偏置。

提出的方法

• 将标准Transformer模块重新诠释为编码器-解码器结构，以解耦表示学习的不同角色。
• 在编码器的[CLS]-token特征上应用对比损失，实现实例判别。
• 在解码器输出上应用自回归似然损失，以重建输入图像。
• 采用两阶段训练：第一阶段仅使用生成损失（100个周期），第二阶段同时使用两种损失（100个周期）。
• 使用标准数据增强方法（如随机裁剪、翻转），与SimCLR保持一致以确保公平比较。
• 利用Transformer的归纳偏置，同时避免额外的架构修改。

实验结果

研究问题

• RQ1 对比学习与生成学习目标能否在单一无监督表示学习框架中有效结合？
• RQ2 联合优化是否能提升下游分类准确率，相比单目标预训练？
• RQ3 该混合方法能否增强对分布偏移的鲁棒性并改善不确定性校准？
• RQ4 在弱增强条件下，添加生成目标是否能防止对比学习的过拟合？
• RQ5 模型能否在实现更优判别特征的同时保持强大的生成性能？

主要发现

• 在CIFAR-10上，GCRL在线性评估中达到94.12%的准确率，在CIFAR-100上达到74.03%，优于ResNet-18（93.60%）和iGPT（89.79%和67.09%）。
• 在CIFAR-10上，GCRL将期望校准误差（ECE）降低至0.0337，在CIFAR-100上为0.0725，表明其不确定性校准优于iGPT与ResNet。
• 在分布外（OOD）检测任务中，GCRL的AUROC与AUPR均高于SimCLR与iGPT，展现出更强的鲁棒性。
• 消融实验表明，GCRL在弱增强条件下仍保持稳定的生成性能，并减少过拟合，表现为测试损失稳定且ECE更低。
• 即使在简单掩码任务（如80%裁剪率）下，GCRL的两阶段训练方案仍能防止过拟合，而SimCLR的损失在400个周期后开始上升。
• GCRL在不修改架构或引入专用组件的前提下，实现了线性评估与OOD检测的最先进性能。