[논문 리뷰] 2017 Robotic Instrument Segmentation Challenge

Max Allan, Alexey A. Shvets외 17명|arXiv (Cornell University)|2019. 02. 18.

Anatomy and Medical Technology참고 문헌 29인용 수 56

한 줄 요약

MICCAI 2017 챌린지로, 10개 데이터셋에 걸쳐 다빈치 로봇 기기의 수작업으로 라벨링된 다중 태스크 세분화를 제시하고, 이진, 부품 및 유형 세분화 작업과 여러 참가 방법이 포함됩니다.

ABSTRACT

In mainstream computer vision and machine learning, public datasets such as ImageNet, COCO and KITTI have helped drive enormous improvements by enabling researchers to understand the strengths and limitations of different algorithms via performance comparison. However, this type of approach has had limited translation to problems in robotic assisted surgery as this field has never established the same level of common datasets and benchmarking methods. In 2015 a sub-challenge was introduced at the EndoVis workshop where a set of robotic images were provided with automatically generated annotations from robot forward kinematics. However, there were issues with this dataset due to the limited background variation, lack of complex motion and inaccuracies in the annotation. In this work we present the results of the 2017 challenge on robotic instrument segmentation which involved 10 teams participating in binary, parts and type based segmentation of articulated da Vinci robotic instruments.

연구 동기 및 목표

• 로봇 수술의 최소침습 환경에서 기구 세분화를 통해 장면 이해를 촉진한다.
• 공정한 방법 비교를 가능하게 하기 위해 수동 라벨이 달린 고품질의 다양하고 포괄적인 데이터셋을 제공한다.
• 여러 기구와 절차에 대해 이진, 부품 기반, 유형 기반 세분화를 평가한다.
• 가이드 및 AR 오버레이에 적합한 실시간 또는 반실시간 세분화 방법의 개발을 촉진한다.

제안 방법

• 세 가지 하위 작업: 기구 대 배경의 이진 세분화, 부품 세분화(축, 손목, 조임 부분), 유형 기반 세분화(기구 유형).
• 10건의 돼지 복부 수술에서 수집된 데이터셋으로 시퀀스당 300 프레임; 각 시퀀스의 처음 225 프레임은 학습용, 마지막 75 프레임은 테스트용; 좌-eye 스테레오 이미지가 제공됩니다.
• Intuitive Surgical 세그먼트 팀이 프레임별 다각형으로 수동으로 생성한 그라운드 트루스 라벨.
• 11개 참가 팀이 FCN/UNet 계열, TernausNet, SegNet 및 수작업으로 설계된 베이스라인 등 다양한 CNN 기반 접근법을 기여했다.
• 프레임당 존재하는 클래스별 평균 IoU를 기준으로 평가하며 데이터셋 가중치를 반영한 전체 점수를 산출한다.
• 여러 팀이 사전 학습된 인코더(VGG, ResNet 계열)와 다중 스케일 또는 계단식 아키텍처를 사용해 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 최첨단 세분화 아키텍처가 로봇 수술 영상의 이진 기구 세분화에서 얼마나 잘 작동하는가?
• RQ2 다중 작업 세분화(이진, 부품, 유형)가 수동 라벨링된 다양하고 다양한 수술 데이터로부터 효과적으로 학습될 수 있는가?
• RQ3 데이터 다양성(8개의 학습 시퀀스, 10개의 테스트 시퀀스)이 데이터셋 간 일반화에 미치는 영향은 무엇인가?
• RQ4 다양한 네트워크 아키텍처와 학습 전략이 작업 및 데이터셋 간 평균 IoU 측면에서 어떻게 비교되는가?

주요 결과

• MIT가 10개 데이터셋에서 이진 세분화의 평균 mean IoU에서 가장 높았으며(0.854).
• 모든 데이터셋과 팀에서의 이진 세분화 평균 IoU는 MIT 0.888, UB 0.875 등으로 다양하게 나타났다(표 I 참조).
• 부품 세분화에서 MIT는 10개 중 7개 데이터셋에서 최대 평균 IoU를 달성했고, MIT의 전체 평균 IoU는 0.737(Table II).
• 유형 기반 세분화에서는 다팀 참여가 낮았고 전체 평균 IoU도 변동이 있었다(Table VI).
• 전반적으로 사전 학습된 인코더와 다중 스케일 또는 계단식 설계를 사용한 딥러닝 아키텍처가 가장 좋은 성능을 보였으며, 단순 베이스라인 및 비ML 방법은 일부 프레임에서 경쟁력이 있었다(UW 베이스라인 예).
• 이 챌런지는 로봇 기구 세분화의 발전을 이끌기 위해 고품질의 수동 라벨링 데이터와 다양한 배경 변화의 필요성을 강조했다.