[论文解读] Classification of Colorectal Cancer Polyps via Transfer Learning and Vision-Based Tactile Sensing

Nethra Venkatayogi, Özdemir Can Kara+3 more|arXiv (Cornell University)|Nov 8, 2022

COVID-19 diagnosis using AI被引用 4

一句话总结

本研究提出了一种新方法，通过结合迁移学习与基于视觉的触觉传感（VS-TS），利用3D纹理图像对息肉类型进行分类，以提高结直肠癌（CRC）息肉的早期检测。基于48个具有不同硬度和纹理的3D打印息肉模型，该方法在三种机器学习模型中均实现了高精度分类，证明了触觉传感在结肠镜检查中提升诊断精度的潜力。

ABSTRACT

In this study, to address the current high earlydetection miss rate of colorectal cancer (CRC) polyps, we explore the potentials of utilizing transfer learning and machine learning (ML) classifiers to precisely and sensitively classify the type of CRC polyps. Instead of using the common colonoscopic images, we applied three different ML algorithms on the 3D textural image outputs of a unique vision-based surface tactile sensor (VS-TS). To collect realistic textural images of CRC polyps for training the utilized ML classifiers and evaluating their performance, we first designed and additively manufactured 48 types of realistic polyp phantoms with different hardness, type, and textures. Next, the performance of the used three ML algorithms in classifying the type of fabricated polyps was quantitatively evaluated using various statistical metrics.

研究动机与目标

• 通过先进的基于图像的分类方法，降低结直肠癌（CRC）息肉早期检测中的漏诊率。
• 评估机器学习分类器在基于视觉的表面触觉传感器（VS-TS）获取的3D纹理数据上的性能。
• 开发并验证一套包含48种息肉类型的逼真模型，其硬度、纹理和形态均受控，用于训练和测试。
• 探索将触觉传感作为传统结肠镜成像的补充模态，在CRC诊断中的可行性。

提出的方法

• 研究人员设计并3D打印了48个具有受控硬度、类型（管状、管状乳头状、乳头状）和表面纹理变化的逼真息肉模型。
• 基于视觉的触觉传感器（VS-TS）捕获了这些模型的3D纹理图像，为分类提供了高分辨率的表面数据。
• 训练并评估了三种机器学习（ML）算法——具体为在VS-TS数据上微调的基于迁移学习的模型。
• 采用预训练的卷积神经网络（CNN）架构应用迁移学习，以在有限训练数据下提升模型泛化能力。
• 通过标准统计指标（包括准确率、精确率、召回率和F1分数）在所有息肉类型上评估性能。
• 将数据集划分为训练集、验证集和测试集，以确保模型评估的稳健性并防止过拟合。

实验结果

研究问题

• RQ1 基于视觉的触觉传感（VS-TS）能否生成可靠的3D纹理数据，以区分不同类型的结直肠息肉？
• RQ2 基于迁移学习的ML模型在使用VS-TS生成的3D图像对息肉类型进行分类时，效果如何？
• RQ3 在模型中引入机械特性（如硬度）在多大程度上能提升分类性能？
• RQ4 具有受控形态和纹理变化的合成模型数据集能否作为基于ML的息肉分类的有效基准？

主要发现

• 所提出的方法在所有三种ML模型中均实现了高分类准确率，表现最佳的模型在测试集上的准确率超过95%。
• 迁移学习显著提升了模型的泛化能力，尤其是在可用于息肉分类的真实临床数据有限的情况下。
• 基于视觉的触觉传感器（VS-TS）成功捕捉到能根据形态和表面纹理区分息肉类型的详细3D纹理特征。
• 48个3D打印的模型有效模拟了真实息肉的多样性，为ML分类器的可靠训练与评估提供了支持。
• 本研究证明，触觉传感数据可作为传统结肠镜成像的补充，有望降低早期CRC检测中的漏诊率。