[논문 리뷰] MATIS: Masked-Attention Transformers for Surgical Instrument Segmentation

Nicolás Ayobi, Alejandra Pérez-Rondón외 2명|arXiv (Cornell University)|2023. 03. 16.

Surgical Simulation and TrainingMedicine참고 문헌 34인용 수 3

한 줄 요약

MATIS는 마스크링 및 변형 가능 어텐션을 사용하여 정밀한 인스턴스 수준의 영역 제안을 생성하고, 시간적 일관성을 향상시키기 위해 영상 트랜스포머 모듈을 통합한 완전히 트랜스포머 기반의 수술 기구 세그멘테이션 방법을 제안한다. Endovis 2017 및 2018에서 각각 mIoU 84.26과 82.37의 최신 기준 성능을 달성하며, 분류 성능 향상과 시간적 일관성 향상을 통해 기존 방법을 능가한다.

ABSTRACT

We propose Masked-Attention Transformers for Surgical Instrument Segmentation (MATIS), a two-stage, fully transformer-based method that leverages modern pixel-wise attention mechanisms for instrument segmentation. MATIS exploits the instance-level nature of the task by employing a masked attention module that generates and classifies a set of fine instrument region proposals. Our method incorporates long-term video-level information through video transformers to improve temporal consistency and enhance mask classification. We validate our approach in the two standard public benchmarks, Endovis 2017 and Endovis 2018. Our experiments demonstrate that MATIS' per-frame baseline outperforms previous state-of-the-art methods and that including our temporal consistency module boosts our model's performance further.

연구 동기 및 목표

• 픽셀 수준의 분류 방식이 수술 기구 세그멘테이션에서 가지는 한계, 특히 공간적 일관성 부족과 인스턴스 수준의 구분 능력 부족을 해결하기 위해.
• 세분화된 영역 제안 생성을 위해 마스크링 및 변형 가능 어텐션 메커니즘을 활용하여 세그멘테이션 정확도를 향상시키기 위해.
• TAPIR 유사 아키텍처를 통해 장기적인 영상 수준의 특징을 통합하여, 영상 시퀀스에서의 시간적 일관성을 향상시키기 위해.
• 인스턴스 인식 마스크 분류와 영상 수준의 추론을 결합하여 수술 기구 세그멘테이션 분야에서 새로운 최신 기준을 수립하기 위해.

제안 방법

• MATIS는 다중 스케일 및 변형 가능 어텐션 특징을 정밀한 마스크 예측을 위해 생성하기 위해 Swin 트랜스포머 인코더를 사용하는 Mask2Former 기반의 백본을 활용한다.
• 기본 분류 전략을 통해 각 기구 유형 별로 신뢰도 임계값을 사용해 상위-k 마스크를 선택함으로써 인스턴스 수준의 정확도를 향상시킨다.
• 시간적 일관성 모듈은 TAPIR 유사 아키텍처를 통해 프레임 시퀀스에 걸쳐 특징을 풀링하여 마스크 분류를 보완한다.
• 시간에 특화된 MLP를 도입하여 풀링된 시간적 특징을 세그먼트 임베딩과 더 잘 정렬시키고, 공동 분류 성능을 향상시킨다.
• 시간 특징에 다중 레이블 분류 감독을 적용하여 모델이 프레임 간 기구 존재 여부를 인식하도록 유도한다.
• 프레임별 마스크 분류와 장거리 영상 모델링을 결합하여 수술 영상 시퀀스 전반에서 강력하고 일관된 세그멘테이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 마스크링 및 변형 가능 어텐션을 갖춘 완전한 트랜스포머 아키텍처가 컨볼루션 네트워크 기반 모델보다 수술 기구 인스턴스 세그멘테이션에서 우월한 성능을 내는가?
• RQ2 장기적인 영상 수준의 맥락을 통합할 경우, 내 endoscopic 수술 영상에서 시간적 일관성과 세그멘테이션 정확도는 어떻게 향상되는가?
• RQ3 프레임당 여러 제안이 생성될 경우, 인스턴스 마스크를 선택하는 최적의 추론 전략은 무엇인가?
• RQ4 시간적 특징과 공간적 특징을 함께 모델링할 경우, 프레임 단위 추론 대비 분류 성능 향상 정도는 어느 정도인가?
• RQ5 시간에 특화된 MLP와 존재 감독과 같은 아키텍처 구성 요소가 시간에 따라 개선된 마스크 분류에 기여하는 정도는 어느 정도인가?

주요 결과

• MATIS는 Endovis 2018에서 mIoU 84.26을 달성하여 수술 기구 세그멘테이션 분야에서 새로운 최신 기준 성능을 확립했다.
• 시간적 일관성 모듈, 즉 시간에 특화된 MLP와 존재 감독을 함께 포함할 경우, 베이스라인 대비 mIoU가 1.05 포인트 향상되었다.
• 최적의 추론 전략인 각 클래스별 상위-k 마스크와 클래스 별 신뢰도 임계값을 사용할 경우, mIoU 82.37을 달성하여 일반 필터링 또는 NMS보다 뛰어난 성능을 보였다.
• 작은 입력 윈도우 크기에서 성능이 떨어지므로, 장기적인 영상 맥락이 강력한 세그멘테이션을 위해 필수적임을 시사한다.
• 클래스 별 임계값과 클래스 별 마스크 선택 전략을 도입함으로써 훈련 데이터 수가 적은 드문 기구 유형에 대해 성능 향상이 뚜렷하게 향상되었다.
• 제거 실험을 통해 시간에 특화된 MLP와 다중 레이블 존재 감독이 시간적 일관성과 분류 정확도를 극대화하는 데 필수적임을 확인했다.