[论文解读] Lesion2Vec: Deep Metric Learning for Few-Shot Multiple Lesions Recognition in Wireless Capsule Endoscopy Video

Sodiq Adewole, Philip Fernandez+6 more|arXiv (Cornell University)|Jan 11, 2021

Gastrointestinal Bleeding Diagnosis and Treatment参考文献 34被引用 7

一句话总结

本文提出 Lesion2Vec，一种基于深度度量学习的少样本病变识别框架，用于无线胶囊内镜，可在极少标注样本下识别多种小肠病变。通过结合孪生网络与三元组损失进行少样本推理，该模型在使用 AlexNet 时，仅需 7 个支持样本即可实现 91.0% 的 F1 分数，展现出在有限训练数据下对未见病变类型的强大泛化能力。

ABSTRACT

Effective and rapid detection of lesions in the Gastrointestinal tract is critical to gastroenterologist's response to some life-threatening diseases. Wireless Capsule Endoscopy (WCE) has revolutionized traditional endoscopy procedure by allowing gastroenterologists visualize the entire GI tract non-invasively. Once the tiny capsule is swallowed, it sequentially capture images of the GI tract at about 2 to 6 frames per second (fps). A single video can last up to 8 hours producing between 30,000 to 100,000 images. Automating the detection of frames containing specific lesion in WCE video would relieve gastroenterologists the arduous task of reviewing the entire video before making diagnosis. While the WCE produces large volume of images, only about 5\% of the frames contain lesions that aid the diagnosis process. Convolutional Neural Network (CNN) based models have been very successful in various image classification tasks. However, they suffer excessive parameters, are sample inefficient and rely on very large amount of training data. Deploying a CNN classifier for lesion detection task will require time-to-time fine-tuning to generalize to any unforeseen category. In this paper, we propose a metric-based learning framework followed by a few-shot lesion recognition in WCE data. Metric-based learning is a meta-learning framework designed to establish similarity or dissimilarity between concepts while few-shot learning (FSL) aims to identify new concepts from only a small number of examples. We train a feature extractor to learn a representation for different small bowel lesions using metric-based learning. At the testing stage, the category of an unseen sample is predicted from only a few support examples, thereby allowing the model to generalize to a new category that has never been seen before. We demonstrated the efficacy of this method on real patient capsule endoscopy data.

研究动机与目标

• 为解决无线胶囊内镜（WCE）中标签数据有限的挑战，实现少样本病变识别。
• 减少对大规模标注数据集的依赖，因为医学影像中的大规模标注数据集成本高且耗时长。
• 实现在训练过程中未见的新病变类型上的泛化能力，而无需重新训练或进行大量微调。
• 通过自动化检测 WCE 视频中罕见或低频病变，提升诊断效率。
• 开发一种可支持临床部署的框架，以最小化新病变类别所需的数据收集工作量。

提出的方法

• 采用孪生神经网络架构，利用三元组损失学习病变图像的深度度量嵌入，以最大化类间分离并最小化类内差异。
• 模型在少样本学习范式下进行训练，每个训练周期（episode）包含每类仅少数样本的支持集。
• 推理阶段，通过余弦距离或欧氏距离计算查询图像与支持集嵌入之间的相似度得分。
• 评估了不同基础卷积神经网络架构（AlexNet、VGG-19、ResNet）以确定最优特征提取性能。
• 该框架采用基于度量的学习策略，实现对训练期间未见的新病变类别的泛化能力。
• 系统在包含多种病变类型（包括训练集中未出现的罕见病变）的真实患者 WCE 数据上进行评估。

实验结果

研究问题

• RQ1 深度度量学习是否能在仅使用极少标注样本的情况下，有效实现无线胶囊内镜中多种病变类型的少样本识别？
• RQ2 支持样本数量如何影响 WCE 数据中少样本病变识别的性能？
• RQ3 在数据有限条件下，哪种基础 CNN 架构（AlexNet、VGG-19、ResNet）在少样本病变识别中表现最佳？
• RQ4 模型是否能泛化到训练数据中未出现的新病变类别？
• RQ5 类内差异和病变大小（如血管畸形）如何影响模型在少样本场景下的鲁棒性？

主要发现

• 基于 AlexNet 的 Lesion2Vec 模型在使用 7 个支持样本时达到最高的 F1 分数 91.0%，优于相同条件下的 VGG-19 和 ResNet。
• 仅使用 1 个支持样本时，ResNet 模型表现最佳（F1 分数：81.7%），但随着支持样本数量增加，性能显著下降。
• VGG-19 模型需要超过 5 个支持样本才能超越其他模型，其在使用 9 个支持样本时达到峰值 F1 分数 88.8%。
• 模型在测试阶段对未见病变类别的泛化能力表现良好，证实其具备少样本学习能力。
• 性能对类内差异和病变大小最为敏感，小病变如血管畸形由于视觉线索有限，带来更大挑战。
• 在孪生网络框架中使用三元组损失显著提升了嵌入质量，实现了跨多种病变类型的准确相似度计算。