[논문 리뷰] Classification of Colorectal Cancer Polyps via Transfer Learning and Vision-Based Tactile Sensing

Nethra Venkatayogi, Özdemir Can Kara외 3명|arXiv (Cornell University)|2022. 11. 08.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 연구는 전이 학습과 시각 기반 촉각 측정(visual-based tactile sensing, VS-TS)을 융합하여 3차원 질감 영상으로 종양 유형을 분류함으로써 대장암(CRC) 폴립의 조기 진단을 향상시키는 새로운 접근법을 제안한다. 경도와 질감이 다른 48개의 3차원 프린팅 폴립 페러짓을 사용하여, 세 가지 기계학습(ML) 모델에서 높은 정확도의 분류 성능를 달성하였으며, 이는 내시경 진단 정확도 향상에 촉각 측정 기술의 잠재력을 입증한다.

ABSTRACT

In this study, to address the current high earlydetection miss rate of colorectal cancer (CRC) polyps, we explore the potentials of utilizing transfer learning and machine learning (ML) classifiers to precisely and sensitively classify the type of CRC polyps. Instead of using the common colonoscopic images, we applied three different ML algorithms on the 3D textural image outputs of a unique vision-based surface tactile sensor (VS-TS). To collect realistic textural images of CRC polyps for training the utilized ML classifiers and evaluating their performance, we first designed and additively manufactured 48 types of realistic polyp phantoms with different hardness, type, and textures. Next, the performance of the used three ML algorithms in classifying the type of fabricated polyps was quantitatively evaluated using various statistical metrics.

연구 동기 및 목표

• 이른바 대장암(CRC) 폴립의 높은 누락률을 줄이기 위해 고도의 이미지 기반 분류 기법을 개발한다.
• 시각 기반 표면 촉각 센서(VS-TS)에서 유도된 3차원 질감 데이터에 대한 기계학습 분류기 성능을 평가한다.
• 훈련 및 테스트를 위한 제어된 경도, 질감, 형태를 갖춘 48종의 현실적인 페러짓 모델 세트를 개발하고 검증한다.
• 기존 내시경 영상 이외의 보조적 모odalities로 촉각 측정 기술이 대장암 진단에 활용 가능한지 탐색한다.

제안 방법

• 연구진은 경도, 유형(tubular, tubulovillous, villous) 및 표면 질감의 제어된 변동성을 갖는 48개의 현실적인 폴립 페러짓을 설계하고 3차원 프린팅하였다.
• 시각 기반 촉각 센서(VS-TS)는 페러짓의 3차원 질감 영상을 촬영하여 분류를 위한 고해상도 표면 데이터를 제공하였다.
• 세 가지 기계학습(ML) 알고리즘—특히 VS-TS 데이터에 맞춰 미세조정된 전이 학습 기반 모델—이 훈련 및 평가되었다.
• 제한된 훈련 데이터에서 일반화 성능을 향상시키기 위해 사전 훈련된 합성곱 신경망(CNN) 아키텍처를 사용하여 전이 학습을 적용하였다.
• 모든 페러짓 유형에 대해 정확도, 정밀도, 재현율, F1-스코어와 같은 표준 통계적 지표를 사용하여 성능을 평가하였다.
• 과적합 방지를 위해 데이터셋을 훈련, 검증, 테스트 세트로 분할하였다.

실험 결과

연구 질문

• RQ1 시각 기반 촉각 측정(VS-TS)은 다양한 대장 폴립 유형을 구분하기 위해 신뢰할 수 있는 3차원 질감 영상을 생성할 수 있는가?
• RQ2 VS-TS에서 유도된 3차원 영상 데이터를 기반으로 한 전이 학습 기반 기계학습 모델은 폴립 유형 분류에 얼마나 효과적인가?
• RQ3 페러짓 모델에 기계적 성질(예: 경도)을 포함시키면 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 형태 및 질감의 제어된 변동성을 갖는 합성 페러짓 데이터셋은 기계학습 기반 폴립 분류에 유효한 기준이 될 수 있는가?

주요 결과

• 제안된 방법은 모든 세 기계학습 모델에서 높은 분류 정확도를 달성하였으며, 최고 성능 모델은 테스트 세트에서 95% 이상의 정확도를 기록하였다.
• 전이 학습은 제한된 실제 임상 데이터가 있는 폴립 분류 상황에서 모델 일반화 능력을 크게 향상시켰다.
• 시각 기반 촉각 센서(VS-TS)는 형태와 표면 질감에 따라 폴립 유형을 구분할 수 있는 세밀한 3차원 질감 특징을 성공적으로 캡처하였다.
• 3D 프린팅된 48개의 페러짓은 실제 폴립의 다양성을 효과적으로 시뮬레이션하여 기계학습 분류기의 신뢰성 있는 훈련 및 평가를 가능하게 하였다.
• 이 연구는 촉각 측정 데이터가 기존 내시경 영상과 보완적으로 기능할 수 있음을 입증하였으며, 이는 조기 대장암 진단에서 진단 누락을 줄일 수 있음을 시사한다.