[论文解读] Towards a Hypothesis on Visual Transformation based Self-Supervision

Dipan K. Pal, Sreena Nallamothu+1 more|ArXiv.org|Nov 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 5

一句话总结

本文提出了基于视觉变换的自监督学习假设（VTSS），该假设预测：当所预测的视觉变换映射到数据集中已存在的样本时，基于视觉变换的自监督表示学习将失败，导致特征退化。该假设将变换冲突识别为关键约束条件，并通过实证验证表明，基于平移和缩放的自监督方法优于仅使用旋转的方法，尤其在二者结合时表现更优。

ABSTRACT

We propose the first qualitative hypothesis characterizing the behavior of visual transformation based self-supervision, called the VTSS hypothesis. Given a dataset upon which a self-supervised task is performed while predicting instantiations of a transformation, the hypothesis states that if the predicted instantiations of the transformations are already present in the dataset, then the representation learned will be less useful. The hypothesis was derived by observing a key constraint in the application of self-supervision using a particular transformation. This constraint, which we term the transformation conflict for this paper, forces a network learn degenerative features thereby reducing the usefulness of the representation. The VTSS hypothesis helps us identify transformations that have the potential to be effective as a self-supervision task. Further, it helps to generally predict whether a particular transformation based self-supervision technique would be effective or not for a particular dataset. We provide extensive evaluations on CIFAR 10, CIFAR 100, SVHN and FMNIST confirming the hypothesis and the trends it predicts. We also propose novel cost-effective self-supervision techniques based on translation and scale, which when combined with rotation outperforms all transformations applied individually. Overall, this paper aims to shed light on the phenomenon of visual transformation based self-supervision.

研究动机与目标

• 为了发展对基于视觉变换的自监督学习方法为何失败或成功的原因的理论理解。
• 为了识别在使用视觉变换的自监督任务中表示学习表现不佳的根本原因。
• 为了提出一个假设，能够基于数据集和变换的特性预测基于变换的自监督学习的有效性。
• 通过实证验证该假设，并展示基于新型平移和缩放自监督任务的性能提升。

提出的方法

• 提出VTSS假设：如果变换后的样本（g₁(x), g₂(x)）已在数据集中存在，则由此产生的表示将因变换冲突而变得无用。
• 将变换冲突定义为：当g(x)映射到数据集中已存在的数据点时，网络被迫学习退化特征。
• 引入基于平移和缩放的新型自监督任务，其动机源于该假设，以避免变换冲突。
• 采用4个卷积块的CNN架构进行自监督学习，并微调一个1个卷积块的头部用于下游半监督分类任务。
• 通过消融实验，改变自监督样本和有监督样本的数量，以及自监督中使用的类别数量。
• 在CIFAR-10、CIFAR-100、SVHN和FMNIST上使用标准线性评估协议验证结果。

实验结果

研究问题

• RQ1 在何种条件下，基于视觉变换的自监督学习无法学习到有用的表示？
• RQ2 基于变换的自监督学习失败的根本原因是什么，能否被形式化描述？
• RQ3 所提出的VTSS假设能否预测针对特定数据集的哪些变换是有效的？
• RQ4 基于平移和缩放的新型自监督任务与基于旋转的方法在表示质量上相比如何？
• RQ5 数据量和类别多样性对VTSS任务性能有何影响？

主要发现

• VTSS假设准确预测了当变换后的样本已在数据集中时，自监督学习会因变换冲突导致特征退化而失败。
• 基于平移的自监督学习（5像素位移）优于仅使用旋转的方法，且在超过5像素后性能提升趋于平缓，8像素位移反而导致性能下降。
• 基于缩放的自监督学习效果有限，可能是因为CIFAR数据集中本身存在缩放变化，但1–2像素的缩放变化仍具实用性。
• 将旋转、平移和缩放的自监督学习结合使用，性能优于单一方法，尤其在CIFAR-10和SVHN上表现更优。
• 使用VTSS的自监督模型性能几乎等同于在相同数量标注数据上训练的半监督模型，表明其具有极强的数据效率。
• 对于VTSS旋转任务，下游性能在仅使用5个类别（5000个样本）时即趋于饱和，表明通过增加自监督数据获得的特征多样性存在上限。