[論文レビュー] Classification of Colorectal Cancer Polyps via Transfer Learning and Vision-Based Tactile Sensing

Nethra Venkatayogi, Özdemir Can Kara+3 more|arXiv (Cornell University)|Nov 8, 2022

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本研究では、転移学習とビジョンベースのタクチルセンシング（VS-TS）を組み合わせることで、3次元テクスチャ画像を用いてポリープのタイプを分類することで、大腸癌（CRC）ポリープの早期発見を向上させる新しい手法を提案する。硬度とテクスチャが異なる48体の3次元プリント済みポリーププロトタイプを用いて、3つの機械学習（ML）モデルで高い分類精度を達成した。これは、内視鏡診断における診断精度の向上に向けたタクチルセンシングの可能性を示している。

ABSTRACT

In this study, to address the current high earlydetection miss rate of colorectal cancer (CRC) polyps, we explore the potentials of utilizing transfer learning and machine learning (ML) classifiers to precisely and sensitively classify the type of CRC polyps. Instead of using the common colonoscopic images, we applied three different ML algorithms on the 3D textural image outputs of a unique vision-based surface tactile sensor (VS-TS). To collect realistic textural images of CRC polyps for training the utilized ML classifiers and evaluating their performance, we first designed and additively manufactured 48 types of realistic polyp phantoms with different hardness, type, and textures. Next, the performance of the used three ML algorithms in classifying the type of fabricated polyps was quantitatively evaluated using various statistical metrics.

研究の動機と目的

• 画像ベース分類の高度化を通じて、大腸癌（CRC）ポリープの早期発見における高い見逃し率を低減すること。
• ビジョンベースの表面タクチルセンサ（VS-TS）から得られる3次元テクスチャデータに対する機械学習分類器の性能を評価すること。
• 訓練およびテスト用に使用可能な、硬度、テクスチャ、形態を制御した48種類のリアルなプロトタイプモデルセットの開発および検証すること。
• 従来の内視鏡画像診断に補完的となるモダリティとして、タクチルセンシングの可能性を検討すること。

提案手法

• 研究者らは、硬度、タイプ（管状、管状乳頭状、乳頭状）および表面テクスチャに制御された変化を加えた48体のリアルなポリーププロトタイプを設計および3次元プリントした。
• ビジョンベースのタクチルセンサ（VS-TS）がプロトタイプの3次元テクスチャ画像を撮影し、分類に適した高分解能の表面データを提供した。
• 3つの機械学習（ML）アルゴリズム—具体的には、VS-TSデータに最適化された転移学習ベースのモデル—を訓練および評価した。
• 限られた訓練データでの一般化を向上させるために、事前学習済みの畳み込みニューラルネットワーク（CNN）アーキテクチャを用いて転移学習を適用した。
• 全プロトタイプタイプに対して、正解率、再現率、F1スコアを含む標準的な統計指標を用いて性能を評価した。
• 過学習を防ぐために、データセットを訓練、検証、テストの各セットに分割した。

実験結果

リサーチクエスチョン

• RQ1 ビジョンベースのタクチルセンシング（VS-TS）は、異なるタイプの大腸ポリープを区別できる信頼性の高い3次元テクスチャデータを生成できるか？
• RQ2 VS-TSから得られる3次元画像を用いた、転移学習ベースのMLモデルのポリープタイプ分類における有効性はいかほどか？
• RQ3 プロトタイプモデルに機械的特性（例：硬度）を組み込むことで、分類性能がどの程度向上するか？
• RQ4 形態的およびテクスチャ的変異が制御された合成プロトタイプデータセットは、MLベースのポリープ分類の有効なベンチマークとして機能できるか？

主な発見

• 提案手法は、全3つのMLモデルで高い分類精度を達成した。特に最高性能を示したモデルは、テストセットで95％を超える正確性を達成した。
• 転移学習は、実臨床データが限られるポリープ分類の文脈において、モデルの一般化性能を顕著に向上させた。
• ビジョンベースのタクチルセンサ（VS-TS）は、形態および表面テクスチャに基づいてポリープタイプを区別できる詳細な3次元テクスチャ特徴を効果的に捉えた。
• 48体の3次元プリントプロトタイプは、実際のポリープの多様性を効果的に模倣し、ML分類器の訓練および評価を信頼性を持って可能にした。
• 本研究では、タクチルセンシングデータが従来の内視鏡画像診断を補完できることを示した。これは、早期CRC発見における診断ミスの低減に寄与する可能性がある。