[论文解读] Feature-Suppressed Contrast for Self-Supervised Food Pre-training

Xinda Liu, Yaohui Zhu+3 more|arXiv (Cornell University)|Aug 7, 2023

Advanced Chemical Sensor TechnologiesEngineering被引用 3

一句话总结

本文提出特征抑制对比（FeaSC），一种自监督学习方法，通过使用响应感知的无监督方案抑制一个视图中显著且高响应的特征，从而减少食物图像增强视图之间的互信息。该方法在四个食物数据集上将BYOL和SimSiam的分类准确率分别提升了1.70%至6.69%，并在下游分割任务中达到最先进性能，在部分基准上超越了监督基线。

ABSTRACT

Most previous approaches for analyzing food images have relied on extensively annotated datasets, resulting in significant human labeling expenses due to the varied and intricate nature of such images. Inspired by the effectiveness of contrastive self-supervised methods in utilizing unlabelled data, we explore leveraging these techniques on unlabelled food images. In contrastive self-supervised methods, two views are randomly generated from an image by data augmentations. However, regarding food images, the two views tend to contain similar informative contents, causing large mutual information, which impedes the efficacy of contrastive self-supervised learning. To address this problem, we propose Feature Suppressed Contrast (FeaSC) to reduce mutual information between views. As the similar contents of the two views are salient or highly responsive in the feature map, the proposed FeaSC uses a response-aware scheme to localize salient features in an unsupervised manner. By suppressing some salient features in one view while leaving another contrast view unchanged, the mutual information between the two views is reduced, thereby enhancing the effectiveness of contrast learning for self-supervised food pre-training. As a plug-and-play module, the proposed method consistently improves BYOL and SimSiam by 1.70\% $\sim$ 6.69\% classification accuracy on four publicly available food recognition datasets. Superior results have also been achieved on downstream segmentation tasks, demonstrating the effectiveness of the proposed method.

研究动机与目标

• 为解决对比自监督学习中食物图像增强视图间互信息过高的挑战，该挑战阻碍了有效表征学习。
• 减少因沙拉等菜肴中堆叠的视觉相似成分（如黄瓜和奶酪）导致的视图间冗余相似性。
• 在不依赖大规模标注数据集的前提下，提升食物图像的自监督预训练效果。
• 开发一个即插即用模块，增强现有对比自监督方法（如BYOL和SimSiam）在食物特定表征学习中的性能。
• 使用无标签食物数据，在分类和语义分割下游任务中验证方法的有效性。

提出的方法

• FeaSC引入一种响应感知定位方案，无需监督即可识别特征图中的显著高响应特征。
• 在其中一个增强视图中抑制选定的显著特征，同时保持另一视图不变，从而降低视图间的互信息。
• 通过基于特征响应图生成的可学习掩码实现抑制，使用超参数λ平衡对比损失与抑制损失。
• 该方法设计为插件模块，兼容现有的对比自监督框架（如BYOL和SimSiam）。
• 采用改进的对比目标，结合标准对比损失与抑制感知对比项，以提升特征不变性。
• 该方法计算效率高，相比基线方法仅增加可忽略的参数量和0.18%的额外MACs。

实验结果

研究问题

• RQ1 降低增强视图之间的互信息是否能提升食物图像的自监督表征学习效果？
• RQ2 如何在无监督条件下识别并抑制视图间共享的显著特征，以增强对比学习？
• RQ3 在某一视图中抑制相似的高信息内容是否能提升食物识别与分割任务的下游性能？
• RQ4 控制抑制强度的超参数λ如何影响模型泛化能力与性能？
• RQ5 FeaSC能否在不改变网络架构的前提下，有效集成到BYOL和SimSiam等现有自监督框架中？

主要发现

• 在FoodSeg103数据集上，结合DeeplabV3时，FeaSC使BYOL的平均准确率（aAcc）提升3.59%，mIoU提升1.05%，mACC提升1.72%。
• 在UEC-FoodPix Complete数据集上，FeaSC使aAcc提升4.77%，mIoU提升3.31%，mACC提升5.93%。
• 在使用FCN的FoodSeg103数据集上，SimSiam+FeaSC相比原始SimSiam，aAcc提升4.22%，mIoU提升1.16%，mACC提升2.06%。
• 在UEC-FoodPix Complete数据集上，使用FCN时，SimSiam+FeaSC使aAcc提升1.47%，mIoU提升0.92%，mACC提升1.92%。
• 在使用DeeplabV3微调时，SimSiam+FeaSC在FoodSeg103上的mAcc达到48.20%（较监督学习提升0.88%，从47.32%提升），在UEC-FoodPix Complete上达到83.70%（较监督学习提升3.33%，从80.37%提升）。
• 消融实验表明，响应感知抑制（RS）表现最佳，在Food101上达到81.36%的准确率，优于随机抑制与低响应抑制策略。