[논문 리뷰] U-NetPlus: A Modified Encoder-Decoder U-Net Architecture for Semantic and Instance Segmentation of Surgical Instrument

S. M. Kamrul Hasan, Cristian A. Linte|arXiv (Cornell University)|2019. 02. 24.

Surgical Simulation and Training참고 문헌 25인용 수 17

한 줄 요약

이 논문은 이산형 컨볼루션을 대체하여 최소 거리 이웃 보간법과 사전 훈련된 VGG 인코더를 통합한 수정된 U-Net 아키텍처인 U-NetPlus를 제안한다. 이는 수술 기구 분할 성능을 향상시키며, 체크리스트 무늬 잡음이 감소하고 수렴 속도가 빨라지는 데 기여한다. MICCAI 2017 EndoVis 데이터셋에서 이중 분할에 대해 90.20% DICE를 기록했고, 기구 부위 분할에 대해선 76.26%를 기록하여 기존 방법들을 능가한다.

ABSTRACT

Conventional therapy approaches limit surgeons' dexterity control due to limited field-of-view. With the advent of robot-assisted surgery, there has been a paradigm shift in medical technology for minimally invasive surgery. However, it is very challenging to track the position of the surgical instruments in a surgical scene, and accurate detection & identification of surgical tools is paramount. Deep learning-based semantic segmentation in frames of surgery videos has the potential to facilitate this task. In this work, we modify the U-Net architecture named U-NetPlus, by introducing a pre-trained encoder and re-design the decoder part, by replacing the transposed convolution operation with an upsampling operation based on nearest-neighbor (NN) interpolation. To further improve performance, we also employ a very fast and flexible data augmentation technique. We trained the framework on 8 x 225 frame sequences of robotic surgical videos, available through the MICCAI 2017 EndoVis Challenge dataset and tested it on 8 x 75 frame and 2 x 300 frame videos. Using our U-NetPlus architecture, we report a 90.20% DICE for binary segmentation, 76.26% DICE for instrument part segmentation, and 46.07% for instrument type (i.e., all instruments) segmentation, outperforming the results of previous techniques implemented and tested on these data.

연구 동기 및 목표

• 최소 침습성 복강 수술에서 정확하고 강건한 수술 기구 분할 문제를 해결하기 위해.
• 표준 U-Net의 한계, 즉 이산형 컨볼루션으로 인한 체크리스트 무늬 잡음과 무작위 가중치 초기화로 인한 느린 수렴 문제를 극복하기 위해.
• 수정된 인코더-디코더 아키텍처를 통해 기구 부위 및 유형에 대한 다중 클래스 분할 성능을 향상시키기 위해.
• 효과적인 데이터 증강과 사전 훈련된 특징 추출을 통해 제한된 의료 영상 데이터에서 모델 일반화 능력과 훈련 안정성을 향상시키기 위해.
• 고정된 가중치를 가진 최소 거리 이웃 보간법이 학습 가능한 역컨볼루션 레이어보다 분할 정확도를 높이고 잡음을 줄이는 데 기여함을 입증하기 위해.

제안 방법

• U-NetPlus 아키텍처는 디코더의 이산형 컨볼루션을 최소 거리 이웃(NN) 보간 레이어로 대체하고, 특징 보정을 위해 두 개의 3x3 컨볼루션 레이어를 추가한다.
• 사전 훈련된 VGG-16 또는 VGG-11 인코더를 사용하여 인코더 경로를 초기화함으로써 수렴 속도 향상과 더 나은 특징 표현 가능성을 확보한다.
• 훈련 안정성 향상과 기울기 흐름 개선을 위해 인코더에 배치 정규화를 적용한다.
• 제한된 MICCAI 2017 EndoVis 데이터셋에서 과적합을 줄이고 훈련 데이터 다양성을 증가시키기 위해 빠르고 융통성 있는 데이터 증강 기법을 도입한다.
• 로봇 수술 영상에서 얻은 8×225 프레임 시퀀스를 기반으로 엔드 투 엔드로 모델을 훈련하고, 8×75 및 2×300 프레임 시퀀스에서 추론을 수행한다.
• 클래스 활성화 맵을 활용한 주의 분석을 통해 모델이 분할 과정에서 기구 부위, 예를 들어 손목과 클래퍼스에 집중하는 방식을 시각화한다.

실험 결과

연구 질문

• RQ1 이산형 컨볼루션을 최소 거리 이웃 보간법으로 대체함으로써 체크리스트 무늬 잡음이 감소하고 수술 기구 분할 품질이 향상되는가?
• RQ2 사전 훈련된 VGG 인코더를 사용하면 제한된 수술 영상 데이터에서 수렴 속도와 분할 정확도가 뚜렷이 향상되는가?
• RQ3 최소 거리 이웃 보간법과 사전 훈련된 인코더의 조합이 기구 부위 및 유형의 다중 클래스 분할 성능에 어떤 영향을 미치는가?
• RQ4 빠른 데이터 증강 전략이 수술 영상 데이터셋에서 흔히 발생하는 저데이터 환경에서 과적합을 효과적으로 완화할 수 있는가?
• RQ5 제안된 아키텍처는 표준 U-Net과 TernausNet에 비해 중요한 기구 구성 요소에 대해 더 나은 주의 집중을 가능하게 하는가?

주요 결과

• U-NetPlus는 이중 수술 기구 분할에서 90.20% DICE 스코어를 기록하여 기존 방법보다 0.21% 향상되었고, 원본 U-Net보다는 6% 이상 향상되었다.
• 기구 부위 분할(줄기, 손목, 클래퍼스)에 대해 U-NetPlus는 76.26% DICE를 기록하여 세 클래스 모두에서 일관된 향상이 관찰되었다.
• U-NetPlus-VGG-11 버전이 기구 유형 분할에서 U-NetPlus-VGG-16를 능가하여 46.07% DICE를 기록했으며, 이는 모델 아키텍처가 클래스 복잡성에 민감함을 시사한다.
• 정성적 결과 분석을 통해 U-NetPlus는 U-Net, U-Net+NN, TernausNet 대비 더 깔끔하고 정밀한 분할 결과를 도출하며, 더 적은 가짜 양성 결과를 보였다.
• 주의 시각화 결과 U-NetPlus는 손목과 클래퍼스와 같은 기구 구성 요소에 더 정확하게 집중하는 것으로 확인되었고, 기준 모델들은 흐릿하거나 정확하지 않은 주의를 보였다.
• 최소 거리 이웃 보간법의 적용으로 이산형 컨볼루션과 관련된 전형적인 체크리스트 무늬 잡음이 완전히 제거되어 시각적 및 정량적 분할 품질 향상에 기여했다.