[论文解读] Generic Feature Learning for Wireless Capsule Endoscopy Analysis

Santi Seguí, Michal Drozdzal+5 more|arXiv (Cornell University)|Jul 26, 2016

Gastrointestinal Bleeding Diagnosis and Treatment参考文献 35被引用 16

一句话总结

本文提出了一种基于深度卷积神经网络（CNN）的系统，用于无线胶囊内镜（WCE）图像分析中的通用特征学习，利用RGB和结构先验（拉普拉斯/海森）对六种肠道蠕动事件进行分类。该方法实现了96%的平均分类准确率，相较于手工设计的特征提高了14%的相对性能。

ABSTRACT

The interpretation and analysis of the wireless capsule endoscopy recording is a complex task which requires sophisticated computer aided decision (CAD) systems in order to help physicians with the video screening and, finally, with the diagnosis. Most of the CAD systems in the capsule endoscopy share a common system design, but use very different image and video representations. As a result, each time a new clinical application of WCE appears, new CAD system has to be designed from scratch. This characteristic makes the design of new CAD systems a very time consuming. Therefore, in this paper we introduce a system for small intestine motility characterization, based on Deep Convolutional Neural Networks, which avoids the laborious step of designing specific features for individual motility events. Experimental results show the superiority of the learned features over alternative classifiers constructed by using state of the art hand-crafted features. In particular, it reaches a mean classification accuracy of 96% for six intestinal motility events, outperforming the other classifiers by a large margin (a 14% relative performance increase).

研究动机与目标

• 为解决为每种新的WCE临床应用设计定制图像表征所耗费的大量时间问题。
• 开发一种无需人工特征工程的通用特征学习系统，用于肠道蠕动事件检测。
• 评估在标注样本有限的WCE数据上深度学习的性能表现。
• 研究在低数据环境下引入结构先验（拉普拉斯/海森）对分类性能的影响。
• 通过端到端的深度学习方法，建立WCE蠕动事件分类的新SOTA（最先进）水平。

提出的方法

• 采用深度CNN架构进行WCE图像分类，使用RGB通道作为输入以实现基于颜色的特征学习。
• 引入额外的输入通道，利用拉普拉斯和海森滤波器编码结构和纹理信息作为先验。
• 在包含120,000张标注WCE图像的大规模数据集上训练网络，并通过数据增强提升鲁棒性。
• 对最后的全连接层应用t-SNE可视化，以分析类别分布和模型行为。
• 使用10万张训练图像对系统进行评估，并开展关于数据量和先验引入的消融研究。
• 将性能与经典手工设计的描述符（如SIFT、GIST和颜色直方图）进行对比。

实验结果

研究问题

• RQ1 在WCE图像上预训练的通用深度学习模型，是否能在蠕动事件检测任务中超越基于手工特征的分类器？
• RQ2 在训练数据有限的情况下，引入结构先验（拉普拉斯和海森）对分类准确率有何影响？
• RQ3 训练数据量对所提出的基于CNN的系统性能有何影响？
• RQ4 所学习的特征是否能泛化到包括浑浊、气泡和褶皱样图像在内的多样化WCE图像模式？
• RQ5 失败案例如何揭示模型在区分边界模糊或模糊的图像类别时的局限性？

主要发现

• 所提出的基于CNN的系统在六种肠道蠕动事件上实现了96%的平均分类准确率，相较于第二好的方法相对提升了14%。
• 该模型优于SIFT、GIST和颜色直方图等经典描述符，确立了WCE蠕动事件分类的新SOTA水平。
• 在训练数据有限（1,000张图像）时，引入拉普拉斯和海森先验可使准确率提升2.6%，但随着数据集增大，该优势逐渐减弱。
• t-SNE可视化显示，模型学习到了有意义的类别分离，浑浊、清晰斑块和褶皱样图像分别形成清晰的聚类。
• 失败案例通常涉及图像类别之间边界的模糊性，例如浑浊与气泡样结构的混合，或具有褶皱样纹理的清晰斑块。
• 结果表明，即使在中等规模的医学图像数据集上，通过深度CNN实现的通用特征学习也极为有效，尤其在引入领域特定先验后效果更佳。