[논문 리뷰] m2caiSeg: Semantic Segmentation of Laparoscopic Images using Convolutional Neural Networks

Salman Maqbool, Aqsa Riaz외 2명|arXiv (Cornell University)|2020. 08. 23.

Surgical Simulation and TrainingMedicine참고 문헌 34인용 수 18

한 줄 요약

이 논문은 자기지도 학습 전훈과 데이터 증강을 활용한 U-Net 기반의 인코더-디코더 컨볼루션 신경망을 사용하여 복강경 수술 영상의 의미적 세그멘테이션을 위한 새로운 데이터셋 m2caiSeg와 딥 러닝 프레임워크를 제안한다. 전체 기관 및 수술도구를 분류할 때 F1 스코어가 0.57을 기록하여 자율 로봇 수술을 향한 기초 단계로서의 잠재력을 보여준다.

ABSTRACT

Autonomous surgical procedures, in particular minimal invasive surgeries, are the next frontier for Artificial Intelligence research. However, the existing challenges include precise identification of the human anatomy and the surgical settings, and modeling the environment for training of an autonomous agent. To address the identification of human anatomy and the surgical settings, we propose a deep learning based semantic segmentation algorithm to identify and label the tissues and organs in the endoscopic video feed of the human torso region. We present an annotated dataset, m2caiSeg, created from endoscopic video feeds of real-world surgical procedures. Overall, the data consists of 307 images, each of which is annotated for the organs and different surgical instruments present in the scene. We propose and train a deep convolutional neural network for the semantic segmentation task. To cater for the low quantity of annotated data, we use unsupervised pre-training and data augmentation. The trained model is evaluated on an independent test set of the proposed dataset. We obtained a F1 score of 0.33 while using all the labeled categories for the semantic segmentation task. Secondly, we labeled all instruments into an 'Instruments' superclass to evaluate the model's performance on discerning the various organs and obtained a F1 score of 0.57. We propose a new dataset and a deep learning method for pixel level identification of various organs and instruments in a endoscopic surgical scene. Surgical scene understanding is one of the first steps towards automating surgical procedures.

연구 동기 및 목표

• 자율 로봇 수술에서 수술 장면 이해의 핵심 과제를 해결하기 위해 기관과 수술도구의 픽셀 수준 식별을 가능하게 한다.
• 학습 및 평가를 위한 307개의 주석이 부여된 복강경 영상으로 구성된 새로운 공개 데이터셋 m2caiSeg를 구축한다.
• 비지도 전훈과 데이터 증강을 활용하여 제한된 주석 데이터에도 불구하고 잘 일반화되는 딥 러닝 기반의 의미적 세그멘테이션 프레임워크를 개발한다.
• 특히 안전이 중요한 응용 분야를 위한 복강경 장면 세그멘테이션 분야의 향후 연구를 위한 기준 성능을 수립한다.
• 데이터셋과 코드를 개방함으로써 재현 가능성과 공동체의 발전을 촉진한다.

제안 방법

• 복강경 영상에서 기관과 수술도구의 픽셀 수준 세그멘테이션을 수행하기 위해 U-Net 스타일의 인코더-디코더 컨volution 신경망 아키텍처를 제안한다.
• ImageNet 데이터셋을 사용하여 재구성 손실을 활용한 자기지도 학습 전훈을 적용하여 m2caiSeg 데이터셋에 대한 피니튜닝 이전에 일반화 가능한 특징을 학습한다.
• 데이터 부족 문제를 완화하고 모델의 강건성을 향상시키기 위해 랜덤 크롭, 플립, 색상 왜곡 등의 광범위한 데이터 증강 기법을 적용한다.
• 교차 엔트로피 손실과 코즈인 애너일링 학습률 스케줄을 사용한 Adam 최적화를 통해 m2caiSeg 데이터셋에서 사전 훈련된 모델을 피니튜닝한다.
• 표준 세그멘테이션 평가 지표인 교차율(Intersection over Union, IoU), 정밀도, 재현율, F1 스코어를 사용하여 보류된 테스트 세트에서 모델 성능을 평가한다.
• 이식 학습 실험을 수행하여 m2caiSeg 모델을 EndoVis 2018 로봇 장면 세그멘테이션 데이터셋에 피니튜닝하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 수술 영상에서 일반적으로 데이터가 적은 환경에서 자기지도 학습 전훈이 의미적 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 제한된, 그러나 다양한 복강경 영상 데이터셋에서 훈련된 딥 러닝 모델이 새로운 수술 장면에 얼마나 잘 일반화되는가?
• RQ3 수술도구와 바늘, 실과 같은 미세한 해부학적 구조를 구분할 때 세그멘테이션 모델의 성능은 어떠한가?
• RQ4 복잡하고 혼잡한 수술 장면에서 제안된 아키텍처가 공간적 세부 정보와 경계를 얼마나 잘 유지하는가?
• RQ5 m2caiSeg에서 훈련된 모델이 최소한의 피니튜닝으로 다른 수술 데이터셋, 예를 들어 EndoVis 2018에 일반화될 수 있는가?

주요 결과

• m2caiSeg 데이터셋에서 기관 및 수술도구의 10개 카테고리 분류에 대해 F1 스코어가 0.33을 기록하여 미세한 세그멘테이션에서 중간 수준의 성능을 보였다.
• 수술도구를 하나의 'Instruments' 슈퍼클래스로 통합한 경우 F1 스코어가 0.57으로 향상되어 더 넓은 카테고리에서의 일반화 능력 향상을 입증했다.
• EndoVis 2018 데이터셋에서 배경 및 조직 클래스에 대해 IoU(0.876)와 F1(0.934)이 높게 기록되어 주로 큰 구조물에 대해 강력한 성능을 보였다.
• 바늘, 실, 클립과 같은 작은 또는 드문 물체에서는 성능이 크게 떨어졌으며, F1 스코어가 0.000으로 나타나 미세한 세부 정보 탐지에 한계가 있음을 시사했다.
• 피니튜닝 후 EndoVis 2018 데이터셋으로의 일반화 능력이 상당히 우수했으며, 수술도구 샤프트 및 덮인 신장과 같은 주요 클래스에 대해 F1 스코어가 0.80 이상을 기록했다.
• 결과적으로 자기지도 학습 전훈 후 피니튜닝 전략이 제한된 주석 데이터가 있는 수술 장면 세그멘테이션에 효과적임을 시사한다.