[논문 리뷰] RASNet: Segmentation for Tracking Surgical Instruments in Surgical Videos Using Refined Attention Segmentation Network

Zhen-Liang Ni, Gui‐Bin Bian외 4명|arXiv (Cornell University)|2019. 05. 21.

Surgical Simulation and Training참고 문헌 12인용 수 13

한 줄 요약

이 논문은 U-Net 기반의 분할 네트워크인 RASNet을 제안하며, 고수준 특징에서의 전역적 맥락을 활용하여 저수준 특징을 정교화함으로써 특징 융합을 향상시키는 새로운 Attention Fusion Module (AFM)을 도입한다. 전이 학습, 교차 엔트로피와 로그-Jaccard 지수를 조합한 하이브리드 손실 함수, 그리고 MICCAI EndoVis 2017 데이터셋을 활용한 훈련을 통해 RASNet은 외과 기구 분할 및 분류에서 94.65% 평균 Dice와 90.33% 평균 IOU를 기록하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Segmentation for tracking surgical instruments plays an important role in robot-assisted surgery. Segmentation of surgical instruments contributes to capturing accurate spatial information for tracking. In this paper, a novel network, Refined Attention Segmentation Network, is proposed to simultaneously segment surgical instruments and identify their categories. The U-shape network which is popular in segmentation is used. Different from previous work, an attention module is adopted to help the network focus on key regions, which can improve the segmentation accuracy. To solve the class imbalance problem, the weighted sum of the cross entropy loss and the logarithm of the Jaccard index is used as loss function. Furthermore, transfer learning is adopted in our network. The encoder is pre-trained on ImageNet. The dataset from the MICCAI EndoVis Challenge 2017 is used to evaluate our network. Based on this dataset, our network achieves state-of-the-art performance 94.65% mean Dice and 90.33% mean IOU.

연구 동기 및 목표

• 내 endoscopic 영상에서 외과 기구 분할 정확도를 향상시키며, 이는 로봇 보조 수술에 있어 핵심적이다.
• 제한된 시야, 변동성이 큰 기구 기하학, 작은 전경 영역으로 인한 심각한 클래스 불균형 등의 과제를 해결한다.
• 기구 유형을 동시에 식별하고 정밀한 경계 예측을 생성하는 분할 네트워크를 개발한다.
• 주의 메커니즘을 통해 전역 맥락을 통합함으로써 인코더와 디코더 간의 특징 융합을 향상시킨다.
• 손실 함수 설계와 전이 학습을 통해 작은, 드문, 또는 시각적으로 유사한 기구의 성능을 향상시킨다.

제안 방법

• RASNet은 인코더로 ImageNet에서 미리 훈련된 ResNet-50을 사용하는 U-Net 아키텍처를 채택하며, 전이 학습을 통해 특징 표현을 향상시킨다.
• 낮은 수준의 특징을 고수준 특징의 전역 맥락을 활용해 동적으로 가중치를 조정하는 Attention Fusion Module (AFM)을 도입하여 간단한 연결 방식을 대체한다.
• AFM는 고수준 특징에 대해 전역 평균 풀링을 수행하고, 1×1 컨볼루션과 배치 정규화를 적용한 후, 소프트맥스를 사용해 특징 조정을 위한 주의 가중치를 생성한다.
• 하이브리드 손실 함수는 교차 엔트로피와 Jaccard 지수의 로그를 조합하여 전경(기구)과 배경 픽셀 간의 클래스 불균형 문제를 완화한다.
• 스킵 연결을 통해 고수준과 저수준 특징을 융합하며, AFM가 관련 영역에 집중함으로써 더 정확한 국소화를 보장한다.
• 네트워크는 MICCAI EndoVis 2017 데이터셋에서 엔드 투 엔드로 훈련되며, 추론 과정에서 각 기구 유형에 대해 픽셀 수준의 마스크를 생성한다.

실험 결과

연구 질문

• RQ1 작고, 변형되며, 가려진 경우가 많은 내 endoscopic 영상에서 주의 메커니즘이 외과 기구 분할 정확도를 향상시킬 수 있는가?
• RQ2 기본적인 연결 방식과 비교했을 때, 제안된 Attention Fusion Module (AFM)은 인코더와 디코더 간의 특징 융합을 얼마나 효과적으로 향상시키는가?
• RQ3 하이브리드 손실 함수(교차 엔트로피 + 로그-Jaccard)는 외과 기구 분할에서 클래스 불균형 문제를 어느 정도 완화하는가?
• RQ4 ImageNet에서의 전이 학습은 제한된 외과 영상 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ5 어떤 기구 유형이 가장 분할하기 어려운가? 성능 변동의 근본적 이유는 무엇인가?

주요 결과

• RASNet은 MICCAI EndoVis 2017 데이터셋에서 평균 Dice 점수 94.65%와 평균 IOU 90.33%를 기록하며, U-Net(70.04% Dice)과 TernausNet(88.04% Dice)을 모두 초월한다.
• Attention Fusion Module (AFM)를 적용한 경우, 동일한 네트워크에서 AFM 없이 사용한 경우에 비해 Dice 점수는 5.34%p 향상되고 IOU는 7.58%p 향상된다.
• 굽은 가위(Curved Scissors)는 가장 높은 성능(99.01% Dice)을 기록했으며, Prograsp Forceps와 Grasping Retractor는 각각 84.59%와 88.05% Dice로 낮은 점수를 기록했다. 이는 시각적 유사성과 데이터 부족으로 인한 것이다.
• ImageNet 미리 훈련된 네트워크는 94.65% Dice를 기록하며, 무작위 초기화(78.11% Dice)보다 유의미하게 높은 성능을 보였다. 이는 전이 학습의 유용성을 입증한다.
• 시각적 비교 결과, RASNet의 예측 결과는 정답과 매우 유사하게 나타났으며, U-Net과 TernausNet은 잘못된 분류와 경계 정확도 저하를 보였다.
• 하이브리드 손실 함수는 클래스 불균형의 영향을 효과적으로 감소시켜, 전경 픽셀 수가 적은 작은, 드문 기구의 분할 성능을 향상시켰다.