[论文解读] A Framework For Contrastive Self-Supervised Learning And Designing A New Approach

William Falcon, Kyunghyun Cho|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 71

一句话总结

本文提出一个五部分框架来统一 CSL 方法（数据增强、编码器、表示提取、相似度、损失），并提出 YADIM，一种结合 AMDIM 和 CPC 思路、具有标准化实现的鲁棒 CSL 变体。

ABSTRACT

Contrastive self-supervised learning (CSL) is an approach to learn useful representations by solving a pretext task that selects and compares anchor, negative and positive (APN) features from an unlabeled dataset. We present a conceptual framework that characterizes CSL approaches in five aspects (1) data augmentation pipeline, (2) encoder selection, (3) representation extraction, (4) similarity measure, and (5) loss function. We analyze three leading CSL approaches--AMDIM, CPC, and SimCLR--, and show that despite different motivations, they are special cases under this framework. We show the utility of our framework by designing Yet Another DIM (YADIM) which achieves competitive results on CIFAR-10, STL-10 and ImageNet, and is more robust to the choice of encoder and the representation extraction strategy. To support ongoing CSL research, we release the PyTorch implementation of this conceptual framework along with standardized implementations of AMDIM, CPC (V2), SimCLR, BYOL, Moco (V2) and YADIM.

研究动机与目标

• 制定一个统一的五分量框架来表征对比自监督学习（CSL）方法。
• 证明 AMDIM、CPC 和 SimCLR 在框架内是特殊情况。
• 设计并评估一个新的 CSL 变体（YADIM），融合 AMDIM 和 CPC 的思路。
• 展示 YADIM 在不同编码器和表示提取策略下具备具有竞争力的性能和鲁棒性。
• 提供 CSL 方法的标准化、可重复的 PyTorch 实现。

提出的方法

• 定义一个五部分的 CSL 框架：数据增强、编码器、表示提取、相似性度量和损失函数。
• 在框架下分析 AMDIM、CPC 和 SimCLR 作为特殊情况。
• 通过合并 CPC 和 AMDIM 组件并进行消融分析来提出 YADIM，以选择鲁棒的设计选择。
• 使用基于 NCE 的损失函数来训练锚点–正样本–负样本三元组。
• 在 PyTorch Lightning 中重新实现 AMDIM、CPC、SimCLR、MoCo 和 CMC 以确保一致的评估。
• 在 CIFAR-10、STL-10 和 ImageNet 上进行实验，以比较不同编码器下的类别可分性和鲁棒性。

实验结果

研究问题

• RQ1 一个统一框架是否能够将主要的 CSL 方法（AMDIM、CPC、SimCLR）有意义地表征为特殊情况？
• RQ2 像 YADIM 这样的组合变体在提高对编码器选择和表示提取策略鲁棒性的同时，是否保持了性能？
• RQ3 在编码器架构和表示提取中的设计选择如何影响 CSL 在不同数据集上的性能？
• RQ4 在将 AMDIM 与 CPC 思路合并时，CSL 的数据增强管线有哪些权衡？
• RQ5 标准化、可重复的实现是否会影响 CSL 的跨方法可比性？

主要发现

• 统一框架显示在五个设计方面下，AMDIM、CPC 和 SimCLR 是高度相关的变体。
• YADIM 在 CIFAR-10、STL-10 和 ImageNet 上取得了具有竞争力的结果，并在对编码器选择鲁棒性和简化表示提取方面有所提升。
• 编码器鲁棒性：在 CIFAR-10 上，YADIM 和 CPC 对编码器选择的敏感性低于 AMDIM。
• 表示提取：AMDIM 的多尺度比较对所选提取策略比 YADIM 更敏感。
• YADIM 的最终设计使用组合数据增强管线、wide ResNet-34 编码器、最后一层特征图比较，以及带有 NCE 损失的简单点积相似度。
• 大量消融实验表明 YADIM 的性能在不同编码器变体和比较策略下保持稳定。