[论文解读] Multiple Pretext-Task for Self-Supervised Learning via Mixing Multiple Image Transformations

Shin’ya Yamaguchi, Sekitoshi Kanai+2 more|arXiv (Cornell University)|Dec 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用 12

一句话总结

该论文提出了一种多前置任务自监督学习（MP-SSL），通过联合优化旋转预测与图像增强变换（如锐化、底片化）来捕捉纹理和色彩语义。采用基于Frank-Wolfe的多任务训练策略，MP-SSL在Places-205上取得了最先进性能，并在多个基准测试中优于仅使用旋转预测的方法。

ABSTRACT

Self-supervised learning is one of the most promising approaches to learn representations capturing semantic features in images without any manual annotation cost. To learn useful representations, a self-supervised model solves a pretext-task, which is defined by data itself. Among a number of pretext-tasks, the rotation prediction task (Rotation) achieves better representations for solving various target tasks despite its simplicity of the implementation. However, we found that Rotation can fail to capture semantic features related to image textures and colors. To tackle this problem, we introduce a learning technique called multiple pretext-task for self-supervised learning (MP-SSL), which solves multiple pretext-task in addition to Rotation simultaneously. In order to capture features of textures and colors, we employ the transformations of image enhancements (e.g., sharpening and solarizing) as the additional pretext-tasks. MP-SSL efficiently trains a model by leveraging a Frank-Wolfe based multi-task training algorithm. Our experimental results show MP-SSL models outperform Rotation on multiple standard benchmarks and achieve state-of-the-art performance on Places-205.

研究动机与目标

• 为解决旋转预测在自监督表示学习中难以捕捉图像纹理与色彩语义的局限性。
• 通过引入超越旋转的多种前置任务，提升泛化能力与特征多样性。
• 开发一种高效的多任务训练框架，实现对多个前置任务的联合优化，且计算开销无明显增加。
• 在标准视觉基准上实现卓越性能，尤其在捕捉细粒度视觉语义方面表现突出。

提出的方法

• 通过应用图像增强变换（如锐化、底片化）作为额外的自监督目标，引入多种前置任务，与旋转预测并列。
• 采用基于Frank-Wolfe的优化算法，高效平衡并同时训练模型于多个前置任务。
• 使用共享主干网络从同一图像的不同增强视图中提取特征，每个视图应用不同的变换。
• 将每个前置任务定义为分类问题：预测给定图像视图所应用的变换。
• 利用同一输入图像的不同增强形式，在训练过程中生成多样化的监督信号。
• 使用结合所有前置任务交叉熵损失的多任务损失，端到端训练模型。

实验结果

研究问题

• RQ1 将多种前置任务（包括图像增强变换）结合，是否能超越仅使用旋转预测的表示学习性能？
• RQ2 引入对纹理与色彩敏感的变换后，对下游视觉任务的性能有何影响？
• RQ3 基于Frank-Wolfe的多任务训练策略是否能有效平衡多个前置任务而不降低性能？
• RQ4 MP-SSL在ImageNet和Places-205等标准基准上，相较于标准的仅旋转自监督学习方法，性能提升程度如何？

主要发现

• MP-SSL在Places-205数据集上实现了最先进性能，优于以往的自监督方法。
• 与仅旋转的基线模型相比，该模型在多个下游任务中的零样本和微调准确率均持续提升。
• 引入图像增强变换显著增强了模型捕捉纹理与色彩语义的能力。
• 基于Frank-Wolfe的多任务训练策略实现了多个前置任务上的稳定且高效的优化。
• MP-SSL在包括ImageNet和CIFAR-100在内的多样化基准上展现出强大的泛化能力。
• 消融研究证实，旋转任务与增强任务对最终表征质量的贡献各具独特性。