[논문 리뷰] CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic Cholecystectomy Based on Cholec80

Wei Hong, C.-L. Kao외 4명|arXiv (Cornell University)|2020. 12. 23.

Colorectal Cancer Screening and Detection참고 문헌 3인용 수 41

한 줄 요약

CholecSeg8K는 Cholec80에서 파생된 오픈 시맨틱 세그먼트 데이터셋으로, 13개 클래스에 걸친 8,080개의 주석 프레임을 포함하며, 복강경 담낭절제술용으로 CC BY-NC-SA 4.0 하에 공개됩니다. 픽셀 수준의 마스크와 여러 마스크 형식을 제공하여 컴퓨터 보조 수술에서 세그먼테이션 모델 학습을 지원합니다.

ABSTRACT

Computer-assisted surgery has been developed to enhance surgery correctness and safety. However, researchers and engineers suffer from limited annotated data to develop and train better algorithms. Consequently, the development of fundamental algorithms such as Simultaneous Localization and Mapping (SLAM) is limited. This article elaborates on the efforts of preparing the dataset for semantic segmentation, which is the foundation of many computer-assisted surgery mechanisms. Based on the Cholec80 dataset [3], we extracted 8,080 laparoscopic cholecystectomy image frames from 17 video clips in Cholec80 and annotated the images. The dataset is named CholecSeg8K and its total size is 3GB. Each of these images is annotated at pixel-level for thirteen classes, which are commonly founded in laparoscopic cholecystectomy surgery. CholecSeg8k is released under the license CC BY- NC-SA 4.0.

연구 동기 및 목표

• 엔도스코픽 수술용 픽셀 수준의 시맨틱 세그먼테이션 데이터셋을 제공하여 알고리즘 개발(예: SLAM, 세그먼테이션 모델)을 지원합니다.
• Cholec80을 확장하여 프레임에 13개 수술 특이 클래스에 주석을 달아 복강경 담낭절제술 영상의 맥락 이해를 가능하게 합니다.
• 원시 이미지, 컬러 마스크, 주석 마스크, 워터셰드 마스크를 제공하여 다양한 모델 학습을 용이하게 합니다.

제안 방법

• Cholec80 데이터셋에서 17개 비디오에서 8,080 프레임을 추출합니다.
• 담낭절제에 관련된 13개의 미리 정의된 클래스로 픽셀에 주석을 부여합니다.
• 이미지마다 세 가지 마스크 형식(컬러 마스크, 주석 마스크, 워터셰드 마스크)을 생성합니다.
• 비디오 및 프레임 인덱스별로 2단계 디렉터리 구조로 데이터를 구성합니다.
• CC BY-NC-SA 4.0 라이선스 하에 PNG 형식으로 데이터를 제공합니다.

실험 결과

연구 질문

• RQ1 기존 내시경 영상 데이터를 활용하여 고품질의 픽셀 단위 시맨틱 세그먼트 데이터셋을 어떻게 만들 수 있는가?
• RQ2 복강경 담낭절제술에서 조직 및 기구의 클래스 분류 체계와 범위는 무엇인가?
• RQ3 세그먼테이션 모델 개발의 활용성을 극대화하는 실용적인 데이터 형식 및 조직화 방식은 무엇인가?
• RQ4 주석 프레임 간 클래스 분포는 어떤가, 그리고 이것이 학습에 어떤 함의를 갖는가?

주요 결과

• 데이터세트는 8,080 프레임으로 구성되며 17개의 Cholec80 비디오에서 추출되었습니다.
• 13개의 픽셀 수준 주석 클래스가 정의되었으며, 이는 기관(예: 간, 담낭)과 기구(예: 집게, L-후크 전기소작) 모두를 포함합니다.
• 이미지 해상도는 854 × 480 픽셀이고 전체 데이터셋 크기는 3 GB입니다.
• 모든 프레임에 13개 클래스가 모두 존재하는 것은 아니며, 클래스 존재는 불균형하며 일부 기구의 주석 픽셀은 1% 미만입니다.
• 각 프레임에는 PNG 형식의 세 가지 마스크(컬러 마스크, 주석 마스크, 워터셰드 마스크)가 있습니다.
• 데이터셋은 CC BY-NC-SA 4.0으로 공개되었으며 Kaggle에서 이용 가능합니다.