[논문 리뷰] Concurrent Segmentation and Localization for Tracking of Surgical Instruments

Iro Laina, Nicola Rieke외 5명|arXiv (Cornell University)|2017. 03. 30.

Surgical Simulation and Training참고 문헌 18인용 수 16

한 줄 요약

이 논문은 딥러닝을 활용하여 수술 기구 추적을 위한 동시 세분화 및 현지화(CSL) 방법을 제안한다. 2차원 자세 추정을 히트맵 회귀로 재정의함으로써 세분화와 지표점 현지화의 엔드 투 엔드, 동시 학습을 가능하게 한다. 이 방법은 MICCAI EndoVis 챌린지 2015 및 망막 마이크로수술 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 블러 및 반사광과 같은 도전적인 조건에서도 정확도와 강인성을 높였다.

ABSTRACT

Real-time instrument tracking is a crucial requirement for various computer-assisted interventions. In order to overcome problems such as specular reflections and motion blur, we propose a novel method that takes advantage of the interdependency between localization and segmentation of the surgical tool. In particular, we reformulate the 2D instrument pose estimation as heatmap regression and thereby enable a concurrent, robust and near real-time regression of both tasks via deep learning. As demonstrated by our experimental results, this modeling leads to a significantly improved performance than directly regressing the tool position and allows our method to outperform the state of the art on a Retinal Microsurgery benchmark and the MICCAI EndoVis Challenge 2015.

연구 동기 및 목표

• 실시간 내생체 조건에서 움직임 블러 및 반사광과 같은 도전적인 상황에서 성능이 떨어지는 순차적 또는 이단계적 접근의 한계를 해결하기 위해.
• 세분화와 현지화 간의 임의의 공간적 의존성을 활용하기 위해 두 작업을 통합된 딥러닝 프레임워크 내에서 모델링하기 위해.
• 기구 추적에서 초기화, 후처리 또는 시간적 정규화가 필요 없도록 하기 위해.
• 공유된 가중치를 가진 완전 컨volution 네트워크를 통해 전역적 맥락을 활용하여 정확도와 강인성을 향상시키기 위해.
• 추론 중 다양한 수의 기구, 관절 및 의미 클래스에 대한 민감한 적응을 가능하게 하기 위해.

제안 방법

• 각 픽셀의 값이 지표점 위치일 가능성에 대한 신뢰도를 나타내는 방식으로 2차원 기구 자세 추정을 히트맵 회귀로 재정의한다.
• 공간 해상도를 유지하고 특징 학습을 향상시키기 위해 스킵 연결을 갖춘 완전 컨volution 리드백 네트워크(FCRN)를 사용한다.
• 공유된 인코더-디코더 아키텍처를 사용하여 세분화와 히트맵 회귀를 동시에 엔드 투 엔드로 학습한다.
• 다중 클래스 세분화와 학습 가능한 히트맵을 활용해 다수의 기구와 관절을 처리하며, 좌우 도구를 구분할 수 있도록 한다.
• 미리 보지 않은 기구의 시점과 구성에 일반화하기 위해 수평 뒤집기와 같은 데이터 증강 기법을 적용한다.
• 세분화에 대한 교차 엔트로피와 히트맵 회귀에 대한 평균 제곱오차를 조합한 공동 손실 함수를 사용하여 두 작업을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 도전적인 시각 조건에서 복잡한 수술 환경에서 동시 세분화 및 2차원 자세 추정 학습이 수술 기구 추적의 강인성과 정확도를 향상시킬 수 있는가?
• RQ2 히트맵 회귀로 현지화를 모델링할 경우, 직접적인 2차원 좌표 회귀보다 수술 기구 추적에서 더 나은 성능을 낼 수 있는가?
• RQ3 통합된 딥러닝 프레임워크는 기구 추적에서 초기화, 후처리 또는 시간적 정규화가 필요 없도록 할 수 있는가?
• RQ4 학습 중에 한 개의 기구만 존재했을 때, 제안된 방법이 새로운 기구와 시점에 대해 얼마나 잘 일반화되는가?
• RQ5 의미 클래스 수와 추적하는 관절 수가 증가함에 따라 모델 성능이 얼마나 확장되는가?

주요 결과

• MICCAI EndoVis 챌린지 2015에서 제안된 CSL 방법은 평균 현지화 오차가 24.8/51.6 픽셀을 기록했으며, 평가된 모든 지표에서 이전 최신 기술 수준(SOTA)을 초월했다.
• 망막 마이크로수술 시퀀스에서 하프 스플릿 실험에서 CSL은 α=0.15일 때 평균 KBB 점수가 84% 이상을 기록하여 기준 방법보다 뚜렷이 뛰어났다.
• 망막 마이크로수술에서의 교차 검증 실험에서 CSL은 새로운 기구 유형과 기하학적 형태에 대해 강력한 일반화 성능를 보이며 최신 기술 수준 성능를 달성했다.
• 망막 마이크로수술 벤치마크에서 모델은 DICE 점수 75.4%를 기록했으며, U-Net(72.5%) 및 기타 기준 방법을 초월했다.
• EndoVis 데이터셋의 시퀀스 5와 6에서, 훈련 중에 한 번의 기구만 본 상태에서도 제안된 방법은 이전에 본 적 없는 기구를 성공적으로 현지화하고 세분화했다.
• 제거 실험에서 스킵 연결이 없는 CSL 대비 DICE 점수를 0.9% 향상시켜 특징 정밀 조정에서의 중요성을 입증했다.