[논문 리뷰] CaDIS: Cataract Dataset for Image Segmentation

Maria Grammatikopoulou, Evangello Flouty외 6명|arXiv (Cornell University)|2019. 06. 27.

Retinal Imaging and Analysis인용 수 18

한 줄 요약

이 논문은 36개 클래스(해부학적 구조, 기구, 수술 도구 포함)에 대한 픽셀 수준의 주석이 부여된 4,670개의 백내장 수술 영상 프레임을 포함하는 대규모 공개 데이터셋 CaDIS를 소개한다. 이는 UNet, DeepLabV3+, UPerNet, HRNet 등의 최신 딥러닝 모델을 벤치마킹하여, 특히 세밀한 기구 분류에서 HRNet과 UPerNet이 동시에 해부학적 구조와 기구 분할에서 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Video feedback provides a wealth of information about surgical procedures and is the main sensory cue for surgeons. Scene understanding is crucial to computer assisted interventions (CAI) and to post-operative analysis of the surgical procedure. A fundamental building block of such capabilities is the identification and localization of surgical instruments and anatomical structures through semantic segmentation. Deep learning has advanced semantic segmentation techniques in the recent years but is inherently reliant on the availability of labelled datasets for model training. This paper introduces a dataset for semantic segmentation of cataract surgery videos complementing the publicly available CATARACTS challenge dataset. In addition, we benchmark the performance of several state-of-the-art deep learning models for semantic segmentation on the presented dataset. The dataset is publicly available at https://cataracts-semantic-segmentation2020.grand-challenge.org/.

연구 동기 및 목표

• 의미적 분할을 위한 종합적이고 공개 가능한 데이터셋의 부족을 해결함으로써, 컴퓨터 보조 개입(CAI) 분야의 발전을 촉진하기 위함.
• 수술 기구 외에도 해부학적 구조와 비수술적 물체를 포함한 풍부한 주석이 부여된 데이터셋을 제공함으로써 종합적인 시cene 이해를 가능하게 하기 위함.
• 이 데이터셋에서 최신 딥러닝 모델을 벤치마킹하여, 기구 분류를 포함한 다양한 복잡도 수준의 분할 성능을 평가하기 위함.
• 실시간 수술 중 안내 시스템, 수술 후 분석 및 수술 기량 평가 도구의 개발을 지원하기 위함.

제안 방법

• CaDIS 데이터셋은 CATARACTS 챌린지의 트레이닝 세트에서 추출한 4,670장의 이미지로 구성되며, 36개 클래스(해부학적 구조 4개, 수술 기구 29개, 비해부학적 물체 3개)에 대한 픽셀 수준의 주석이 부여되어 있다.
• 전문 주석자들이 높은 정밀도로 주석을 작성하여 임상 및 연구 응용 분야에서의 일관성과 품질을 확보하였다.
• 의미적 분할의 최신 기술인 UNet, DeepLabV3+, UPerNet, HRNetV2를 사용하여 세 가지 복잡도가 증가하는 작업에 대해 모델을 훈련하고 평가하였다.
• 모델 성능 평가에는 mIoU(평균 교차율), PA(픽셀 정확도), 클래스별 mIoU를 사용하였으며, 해부학적 구조와 기구 클래스 간의 클래스 불균형 문제를 고려하였다.
• 표준 딥러닝 파ip라인을 사용하여 교차 엔트로피 손실 및 데이터 증강을 적용하고, 검증 및 테스트 세트에서 추론을 수행하였다.
• 클래스 불균형 문제를 해결하기 위해, 전체 mIoU와 클래스별 mIoU를 모두 평가하였으며, 테스트 세트에서 개수 부족으로 인해 분석에서 제외된 클래스는 최종 분석에서 제외하였다.

실험 결과

연구 질문

• RQ1 다양한 해부학적 및 기구 클래스를 포함하는 새로운 대규모 의미적 분할 데이터셋에서 최신 딥러닝 모델의 성능은 어떠한가?
• RQ2 기구 클래스 수의 증가가 분할 성능에 미치는 영향은 무엇인가? 특히 mIoU와 클래스 수준의 일관성 측면에서 평가된다.
• RQ3 해부학적 구조가 픽셀 수에서 우세한 클래스 불균형이 발생할 경우, 희귀하거나 작은 기구 클래스의 성능에 어떤 영향을 미치는가?
• RQ4 UNet, DeepLabV3+, UPerNet, HRNet 중 어떤 모델 아키텍처가 동시에 해부학적 구조와 기구 분류를 포함한 다양한 분할 작업에서 가장 뛰어난 성능을 보이는가?
• RQ5 더 큰 수신장치를 가진 HRNet 및 UPerNet 모델이, UNet 및 DeepLabV3+와 같은 표준 아키텍처보다 세밀한 수술 기구 분할에서 더 뛰어난 성능을 보이는가?

주요 결과

• HRNetV2와 UPerNet가 해부학적 분할 및 기구 분할 모두에서 가장 높은 mIoU 점수를 기록하였으며, 특히 여러 기구 유형을 동시에 분류하는 복잡한 작업에서 뛰어난 성능을 보였다.
• UNet은 모든 작업에서 해부학적 분할에 대해 85% 이상의 mIoU를 기록했지만, 기구 분할에서는 특히 다중 기구 유형 분류 시에 상당히 낮은 mIoU를 기록하였다.
• MobileNetV2 백본을 사용한 DeepLabV3+는 UNet을 초월한 기구 분할 성능을 보였으며, 이는 아키텍처와 특징 학습이 최적화된 경우 경량 모델도 효과적일 수 있음을 시사한다.
• 클래스별 mIoU 측정치는 UNet이 큰 해부학적 영역 분할에 뛰어나지만, 세밀한 경계나 작은 기구 클래스 분할에 어려움을 겪는 반면, DeepLabV3+, UPerNet, HRNet는 더 일관되고 정확한 기구 예측을 제공함을 보여주었다.
• 검증 세트와 테스트 세트 간의 mIoU 간격이 일관되게 관찰되었으며, 주로 영상 세트 간 클래스 분포의 변동성 때문이었고, 이는 최종 평가에서 부족한 클래스를 제외하는 것이 타당함을 뒷받침하였다.
• UPerNet와 HRNet가 생성한 분할 경계는 DeepLabV3+와 UNet보다 더 매끄럽고 노이즈가 적었으며, 이는 복잡한 수술 환경에서 더 우수한 일반화 및 특징 학습 능력을 지녔음을 시사한다.