[论文解读] Image Enhanced Rotation Prediction for Self-Supervised Learning

Shin’ya Yamaguchi, Sekitoshi Kanai+2 more|arXiv (Cornell University)|Dec 25, 2019

Advanced Image and Video Retrieval Techniques参考文献 52被引用 7

一句话总结

本文提出图像增强旋转预测（IE-Rot），一种自监督学习方法，通过联合预测图像旋转和图像增强（如过曝）来学习同时捕捉物体形状与纹理的表征。通过在两个任务上联合训练共享的特征提取器，IE-Rot在ImageNet、PASCAL-VOC和COCO基准上均达到最先进性能，在多个场景下优于标准旋转预测和监督微调的ImageNet预训练方法。

ABSTRACT

The rotation prediction (Rotation) is a simple pretext-task for self-supervised learning (SSL), where models learn useful representations for target vision tasks by solving pretext-tasks. Although Rotation captures information of object shapes, it hardly captures information of textures. To tackle this problem, we introduce a novel pretext-task called image enhanced rotation prediction (IE-Rot) for SSL. IE-Rot simultaneously solves Rotation and another pretext-task based on image enhancement (e.g., sharpening and solarizing) while maintaining simplicity. Through the simultaneous prediction of rotation and image enhancement, models learn representations to capture the information of not only object shapes but also textures. Our experimental results show that IE-Rot models outperform Rotation on various standard benchmarks including ImageNet classification, PASCAL-VOC detection, and COCO detection/segmentation.

研究动机与目标

• 为解决自监督学习中旋转预测的局限性，其仅能捕捉物体形状而无法捕捉纹理。
• 通过联合训练旋转预测与图像增强（如过曝）作为互补的预训练任务，提升表征学习能力。
• 在保持与现有旋转预测框架兼容性的同时，提升特征质量，且不改变网络结构。
• 证明同时学习形状与纹理信息可带来在多样化视觉任务中更具泛化能力的表征。

提出的方法

• IE-Rot对输入图像依次应用旋转和图像增强（如过曝），生成单张变换后的图像。
• 模型在同一张变换图像上同时执行两个分类任务：预测旋转角度（0°, 90°, 180°, 270°）和所应用的图像增强类型。
• 共享特征提取器通过联合多任务损失进行优化，该损失结合了旋转预测和增强类型预测的交叉熵损失。
• 方法采用标准CNN架构（如ResNet-50、WRN-40-10），无需结构修改，保持方法简洁性。
• 图像增强作为数据增强操作应用，但其核心创新在于联合监督机制，而非单纯的增强操作。
• 通过在下游任务（如分类、检测、分割）上微调共享特征提取器，实现端到端评估。

实验结果

研究问题

• RQ1 将旋转预测与图像增强预测结合，能否在自监督表征学习上超越标准旋转预测？
• RQ2 形状与纹理信息的联合学习是否能提升下游视觉任务的泛化性能？
• RQ3 IE-Rot的性能提升源于显式的多任务学习，还是仅因图像增强带来的隐式数据增强？
• RQ4 在多样化基准上，IE-Rot与监督ImageNet预训练及其他最先进自监督方法相比表现如何？

主要发现

• 在ImageNet线性评估中，IE-Rot的top-1准确率达到51.5%，显著高于标准旋转预测方法（42.2%）。
• 在PASCAL-VOC目标检测任务中，IE-Rot达到53.6% AP，优于旋转预测（51.1%）和解耦方法（52.8%）。
• 在COCO实例分割任务中，IE-Rot达到38.1% AP，超过旋转预测（36.4%）和解耦方法（35.7%）。
• IE-Rot在数据增强基础上的旋转预测（Rotation+DA）中表现更优，证明性能增益源于联合学习，而非单纯增强。
• 在CIFAR-100上，IE-Rot达到49.0% top-1准确率，显著优于旋转预测（43.0%）和Rotation+DA（43.3%）。
• 在COCO实例分割任务中，IE-Rot性能与或优于ImageNet监督预训练方法，表明其具备极强的泛化能力。