[논문 리뷰] Pixel-Wise Recognition for Holistic Surgical Scene Understanding

Nicolás Ayobi, Santiago Rodríguez외 9명|arXiv (Cornell University)|2024. 01. 20.

Surgical Simulation and Training인용 수 4

한 줄 요약

이 논문은 로봇 보조 프로스타토모미에서의 통합 수술 장면 이해를 위한 다중 분해능 기준인 GraSP 데이터셋을 소개하고, TAPIS 모델을 제안한다. TAPIS는 시각적 트랜스포머 아키텍처로, 전역 영상 특징과 국소적 기구 분할을 통합하여 수술 단계, 단계, 기구 인스턴스 및 원자적 동작을 동시에 인식할 수 있도록 한다. TAPIS는 모든 과제에서 최신 기술 수준의 성능을 달성하였으며, 픽셀 수준의 분할이 단기 인식 성능을 향상시키고, 계층적 과제 관계가 전체 정확도를 향상시킨다는 것을 입증한다.

ABSTRACT

This paper presents the Holistic and Multi-Granular Surgical Scene Understanding of Prostatectomies (GraSP) dataset, a curated benchmark that models surgical scene understanding as a hierarchy of complementary tasks with varying levels of granularity. Our approach encompasses long-term tasks, such as surgical phase and step recognition, and short-term tasks, including surgical instrument segmentation and atomic visual actions detection. To exploit our proposed benchmark, we introduce the Transformers for Actions, Phases, Steps, and Instrument Segmentation (TAPIS) model, a general architecture that combines a global video feature extractor with localized region proposals from an instrument segmentation model to tackle the multi-granularity of our benchmark. Through extensive experimentation in ours and alternative benchmarks, we demonstrate TAPIS's versatility and state-of-the-art performance across different tasks. This work represents a foundational step forward in Endoscopic Vision, offering a novel framework for future research towards holistic surgical scene understanding.

연구 동기 및 목표

• 내 endoscopic 시각에서 통합적이고 다중 분해능 기준이 부족한 문제를 해결하기 위해.
• 고도로 정제된 레이어로 구성된 장기적(단계, 단계)과 단기적(기구 분할, 원자적 동작) 과제로 수술 절차를 계층적으로 모델링하기 위해.
• 공간적 및 시간적 분해능의 보완적 시각 인식을 활용하는 통합 프레임워크를 개발하기 위해.
• 시각 트랜스포머와 분할 유도 인식이 수술 이해의 모든 수준에서 성능 향상에 기여하는지 검증하기 위해.
• 미래의 수술 워크플로 분석 연구를 위한 재현 가능한 기준을 확립하기 위해, 명확한 훈련/검증/테스트 분할을 제공하기 위해.

제안 방법

• 수술 단계 및 단계 인식, 기구 인스턴스 분할, 원자적 시각적 동작 탐지 등 네 가지 계층적 과제를 포함한 정제된 기준인 GraSP 데이터셋을 제안한다. 모든 과제는 가능한 한 높은 분해능으로 레이블링된다.
• 전역 영상 특징 추출기와 별도의 기구 분할 헤드에서 유도된 국소적 영역 제안을 통합하는 시각 트랜스포머 기반 아키텍처인 TAPIS 모델을 설계한다. 이를 통해 다중 분해능 이해가 가능해진다.
• 기구 분할이 공간적 단서를 제공함으로써 후속 시간적 과제(예: 동작 탐지)의 성능 향상에 기여하도록 이중 스트림 학습 전략을 적용한다.
• 다른 과제에 따라 점점 더 세밀해지는 시간적 및 공간적 샘플링을 적용한다: 단계는 64초, 0.25fps; 단계는 16초, 1fps; 기구 인식은 8초, 2fps; 원자적 동작은 0.53초, 30fps.
• 더 높은 수준의 과제(예: 단계 인식)에서 사전 학습된 가중치로 모델을 초기화하여 짧은 시간 과제에서의 성능 향상을 도모한다.
• 재현 가능성을 확보하고 다양한 방법 간의 공정한 비교를 위해 전용 훈련, 검증, 테스트 세트를 포함한 표준화된 데이터 분할을 설정한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 기구 분할을 통합함으로써 원자적 동작 탐지와 같은 단기 수술 인식 과제에서 성능 향상이 어떻게 이루어지는가?
• RQ2 수술 장면 이해의 각 수준(단계, 단계, 기구 분할, 원자적 동작)에서 최적의 시간적 및 공간적 분해능은 무엇인가?
• RQ3 예를 들어 단계 인식이 단계 또는 동작 탐지 성능 향상에 기여하는 정도는 어느 정도이며, 과제 간 계층적 관계가 전체 모델 성능에 얼마나 기여하는가?
• RQ4 통합된 트랜스포머 기반 아키텍처가 장기적 및 단기적 과제를 모두 아우르는 수술 장면 이해의 다중 분해능 특성을 효과적으로 처리할 수 있는가?
• RQ5 제안된 방법은 다양한 공개 기준에서 얼마나 견고하며, GraSP 데이터셋을 초월해 일반화 가능한가?

주요 결과

• TAPIS는 GraSP 벤치마크의 네 가지 과제에서 모두 최신 기술 수준의 성능을 달성하였으며, 기존의 컨volutional 네트워크 기반 모델 및 이전 베이스라인을 모두 능가한다.
• 기구 분할 레이블을 통합함으로써 원자적 동작 탐지 성능이 뚜렷이 향상되었으며, 이는 형태 수준의 공간적 단서의 가치를 입증한다.
• 높은 수준의 과제(예: 단계 인식)는 희박한 시간 샘플링(예: 64초, 0.25fps)에서 유리하고, 낮은 수준의 과제(예: 원자적 동작 탐지)는 세밀한 시간 처리(0.53초, 30fps)가 필요함을 확인하였다.
• 단계 인식에서 단기 과제로의 전이 학습이 성능 향상에 기여함을 확인하여, 수술 이해 수준 간의 계층적 상호의존성이 뒷받침됨을 입증하였다.
• 다양한 공개 기준에서 일관된 상대적 성능 유지를 유지함으로써, 모델의 견고성과 일반화 능력이 검증되었다.