[논문 리뷰] 2018 Robotic Scene Segmentation Challenge

Max Allan, Satoshi Kondo외 39명|arXiv (Cornell University)|2020. 01. 30.

Surgical Simulation and Training참고 문헌 17인용 수 118

한 줄 요약

이 논문은 2018년 EndoVis 로봇 현장 분할 챌린지를 소개하며 해부학 및 의료기기 클래스, 19개의 돼지 내시경 시퀀스, 그리고 네 팀 벤치마크를 네 가지 테스트 데이터셋에서 평균 IoU로 평가한다.

ABSTRACT

In 2015 we began a sub-challenge at the EndoVis workshop at MICCAI in Munich using endoscope images of ex-vivo tissue with automatically generated annotations from robot forward kinematics and instrument CAD models. However, the limited background variation and simple motion rendered the dataset uninformative in learning about which techniques would be suitable for segmentation in real surgery. In 2017, at the same workshop in Quebec we introduced the robotic instrument segmentation dataset with 10 teams participating in the challenge to perform binary, articulating parts and type segmentation of da Vinci instruments. This challenge included realistic instrument motion and more complex porcine tissue as background and was widely addressed with modifications on U-Nets and other popular CNN architectures. In 2018 we added to the complexity by introducing a set of anatomical objects and medical devices to the segmented classes. To avoid over-complicating the challenge, we continued with porcine data which is dramatically simpler than human tissue due to the lack of fatty tissue occluding many organs.

연구 동기 및 목표

• 로봇 보조 수술에서 의료기기와 해부학 모두에 대한 의미론적 분할을 확장한다.
• 현실적인 기구 움직임과 배경 조직을 갖춘 도전적이고 가변적인 데이터셋을 제공한다.
• 픽셀 단위 내시경 현장 분할에 대해 다양한 딥러닝 아키텍처를 벤치마크한다.
• "covered kidney" 같은 라벨링 도전을 강조하여 수술의 현실감을 반영한다.

제안 방법

• ResNeXt-101에 Squeeze-Excitation 블록을 포함한 여러 주요 CNN 아키텍처, VGG-19 인코더를 갖춘 U-Net, 그리고 DeepLab V3+ 변형들이 제출되었다.
• 다양한 인코더/디코더(ResNet, VGG, Xception, PSPNet, GCN)를 사용하고 데이터 확장과 클래스별 손실 함수를 활용했다.
• 두 가지 분기 또는 다중 작업 전략이 탐구되었다(기구와 기관에 대해 분리된 네트워크, 앙상블 방법, CRF와 같은 후처리).
• 평가 방법은 프레임별 평균 교집합/합집합(IoU)을 계산하고 프레임 및 데이터셋 전체에서 평균화하는 방식에 의존했다.
• 데이터셋은 의료기기(도구, 초음파 프로브, 클립)와 해부학적 클래스(신장 실질, covered kidney, 소장) 및 배경 클래스로 주석화되었다.

실험 결과

연구 질문

• RQ1 EndoVis 2018 분할 챌린지에서 기구 및 해부학 클래스에 대한 최첨단 모델의 평균 IoU 성능은 어느 정도인가?
• RQ2 다양한 테스트 시나리오에서 가장 좋은 평균 IoU를 내는 아키텍처와 데이터 증가 전략은 무엇인가?
• RQ3 해부학적 라벨링 도전(예: covered kidney)과 조직 가려짐이 분할 성능에 어떤 영향을 미치는가?
• RQ4 수술적 시야와 가려짐을 시뮬레이션한 네 가지 테스트 데이터셋에서 모델 성능은 어떻게 달라지는가?

주요 결과

• 테스트 데이터셋 1의 주요 클래스에 대한 방법별 평균 IoU는 약 0.5–0.67 범위이며, 일부 팀은 신장 실질과 같은 특정 클래스에서 0.9에 근접한 점수를 얻었다.
• 테스트 데이터셋 2의 전체 평균은 약 0.45–0.48로 보고되며, 기구 및 실질 클래스는 일반적으로 가려진 라벨보다 예측이 더 양호했다.
• 테스트 데이터셋 3에서 여러 방법의 평균이 약 0.65–0.70으로 높지만, heavily covered될 때 신장 표면은 여전히 도전적이다.
• 테스트 데이터셋 4는 전체 평균이 ~0.28–0.38로 낮으며, 강한 가려짐과 복잡한 배경을 반영하고 신장 표면은 종종 가장 어려운 클래스이다.
• 전체 데이터셋 간 평균(Table V)은 특정 데이터셋에서의 성능이 우수하고 가려지거나 복잡한 장면에서 저조하다는 것을 시사하며, 집계 평균 IoU는 약 0.478이다.
• 다수의 팀이 데이터셋 전반에서 OTH Regensburg, NCT, IRCAD가 지배적이었으며 DeepLab 기반 및 인코더-디코더 모델과 같은 강력한 아키텍처에 대한 합의가 있음을 시사한다.