[论文解读] Self-supervised Learning for Gastrointestinal Pathologies Endoscopy Image Classification with Triplet Loss

Tai Nguyen-D-P|arXiv (Cornell University)|Mar 3, 2023

Gastrointestinal Bleeding Diagnosis and Treatment被引用 4

一句话总结

该论文提出SsLTF，一种用于分类胃肠道内镜图像的自监督学习框架，采用Barlow Twins进行表征学习，结合三元组损失以减少类内方差和类间相似性，并采用焦点损失解决类别不平衡问题。该方法在Hyper-Kvasir数据集上取得了最先进性能，F1得分为0.824，仅使用简单的ResNet-50主干网络，优于更复杂的模型。

ABSTRACT

Recently, the amount of GI tract datasets is introduced more and more by gathering from contests and challenges. The most common task needs to solve that is to classify images from the GI tract into various classes. However, the contributions of the existing approaches exhibit lots of limitations. In this paper, we aim to develop a computer-aided diagnosis system to classify the pathological findings in endoscopy images, the system can classify some common pathologies including polyps, esophagitis, and ulcerative -- colitis. To evaluate the proposed work, we use the public dataset which is Hyper--Kvasir instead of gathering the data. The key idea of our system is to develop self-supervised learning based on the Barlow Twins framework with a downstream task which is an endoscopy image classification integrated with triplet loss and focal loss functions. The self-supervision framework and focal loss function are used to overcome class-imbalanced data, while the triplet loss function is to tackle the domain-specific properties in endoscopy images which are inter/intra-class problems. An extensive experimental study on the pathological finding images in the Hyper--Kvasir dataset has shown that our proposed system is in general better than the compared methods, whereas using a simple neural network model. This means the proposed system can be used efficiently and capable of accurately for the classification of pathology images in the GI tract.

研究动机与目标

• 开发一种用于分类胃肠道内镜图像中多种病理状况（包括息肉、食管炎和溃疡性结肠炎）的计算机辅助诊断系统。
• 解决内镜图像中类别不平衡以及类间与类内可变性带来的挑战，这些因素会阻碍模型泛化能力。
• 通过自监督预训练与损失函数集成，提升分类性能，且不依赖大规模私有数据集。
• 证明在精心设计的损失函数与自监督预训练结合下，轻量级模型可超越更复杂的架构在医学图像分类任务中的表现。

提出的方法

• 系统使用Barlow Twins框架进行自监督预训练，从无标签的内镜图像中学习稳健的特征表征。
• 通过组合三元组损失与焦点损失，对下游分类头进行微调，以增强判别能力并处理类别不平衡问题。
• 应用三元组损失以最小化类内方差并最大化类间间隔，提升视觉相似病理的特征分离能力。
• 集成焦点损失以降低简单负样本和多数类别在训练过程中的影响，使学习更聚焦于难分类样本。
• 模型在包含六种类别的Hyper-Kvasir数据集上进行训练：息肉、食管炎-分级-A、食管炎-分级-B-D、溃疡性结肠炎-分级-1、溃疡性结肠炎-分级-2、溃疡性结肠炎-分级-3。
• 最终分类流程采用ResNet-50主干网络，通过联合损失目标端到端训练。

实验结果

研究问题

• RQ1 使用Barlow Twins进行自监督预训练是否能提升胃肠道内镜图像分类的特征表征能力？
• RQ2 三元组损失在减少视觉相似性高的内镜图像中类内方差并提升类间分离方面效果如何？
• RQ3 焦点损失在多大程度上缓解了医学图像数据集中因类别不平衡导致的性能下降？
• RQ4 在结合先进损失函数与自监督预训练的情况下，轻量级模型（如ResNet-50）是否能超越如DenseNet-161和EfficientNet等更大架构？

主要发现

• 所提出的SsLTF方法在Hyper-Kvasir数据集上取得了0.824的F1得分，优于所有对比方法，包括使用更大模型（如DenseNet-161和EfficientNet）的方法。
• SsLTF的宏平均F1得分（0.824）高于Borgli等人[3]（0.6747）、He等人[11]（0.6701）和Gjestang[7]（0.5800），尽管其使用的是更简单的ResNet-50架构。
• 三元组损失的集成显著提升了特征判别能力，尤其在视觉相似性高的病理类型（如不同分级的溃疡性结肠炎和食管炎）中表现突出。
• 焦点损失有效降低了多数类别（息肉）对总损失的影响，提升了少数类别（如溃疡性结肠炎-分级-3）的召回率。
• 使用Barlow Twins的自监督预训练阶段提升了特征质量，即使在标注数据有限的情况下也能实现更优的下游性能。
• 尽管模型结构简单，SsLTF仍取得了具有竞争力的结果，表明在此设定下，损失函数设计与预训练的重要性超过模型深度。