[논문 리뷰] A comprehensive survey on recent deep learning-based methods applied to surgical data

Mansoor Ali, Rafael Martinez Garcia Pena외 2명|arXiv (Cornell University)|2022. 09. 03.

Surgical Simulation and Training인용 수 4

한 줄 요약

이 논문은 최소침습 수술에서 수술 기구 국소화, 분할, 추적 및 3D 환경 인식에 중점을 두고, 수술 데이터 분석을 위한 딥러닝 기반 방법에 대한 종합적인 서베이를 제시한다. 최신 기술을 검토하고, 공개된 기준 데이터셋을 평가하며, 제한된 애너테이션 데이터, 내 endoscopic 영상의 잡음, 비표면이 있는 조직 등의 주요 과제를 밝히고 임상 적용 및 모델의 강건성 향상을 위한 방향을 제안한다.

ABSTRACT

Minimally invasive surgery is highly operator dependant with a lengthy procedural time causing fatigue to surgeon and risks to patients such as injury to organs, infection, bleeding, and complications of anesthesia. To mitigate such risks, real-time systems are desired to be developed that can provide intra-operative guidance to surgeons. For example, an automated system for tool localization, tool (or tissue) tracking, and depth estimation can enable a clear understanding of surgical scenes preventing miscalculations during surgical procedures. In this work, we present a systematic review of recent machine learning-based approaches including surgical tool localization, segmentation, tracking, and 3D scene perception. Furthermore, we provide a detailed overview of publicly available benchmark datasets widely used for surgical navigation tasks. While recent deep learning architectures have shown promising results, there are still several open research problems such as a lack of annotated datasets, the presence of artifacts in surgical scenes, and non-textured surfaces that hinder 3D reconstruction of the anatomical structures. Based on our comprehensive review, we present a discussion on current gaps and needed steps to improve the adaptation of technology in surgery.

연구 동기 및 목표

• 수술 내비게이션 작업인 기구 국소화, 분할, 추적, 3D 환경 재구성에 관한 최근의 딥러닝 기반 접근법을 체계적으로 검토하기 위해.
• 수술 데이터 과학의 핵심 과제인 애너테이션 데이터 부족, 영상 잡음, 비표면이 있는 해부학적 표면 등의 문제를 식별하고 분석하기 위해.
• 수술 내비게이션 연구에서 사용되는 공개 기준 데이터셋을 평가하고 그 다양성과 유용성을 평가하기 위해.
• 열린 연구 과제를 논의하고, 모델 일반화 능력, 실시간 성능, 임상 적용을 향상시키기 위한 실행 가능한 조치를 제안하기 위해.
• 연합 학습, 자기지도 학습, 증강 현실과 같은 신규 기술이 데이터 및 구현 제약을 극복하는 데 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 2016년부터 2021년까지 수술 데이터 과학에서의 딥러닝 응용에 대한 체계적 문헌 리뷰를 수행하기 위해.
• 수술 기구 탐지, 분할, 추적, 3D 재구성에 응용된 방법을 기반으로 분류하고 분석하기 위해.
• mAP, Dice 점수, 추론 속도 등의 지표를 사용하여 최신 모델의 성능와 한계를 평가하기 위해.
• 15개 이상의 공개 수술 데이터셋을 조사하고 요약하기 위해, 그 애너테이션 프로토콜, 모odalities, 과제별 응용을 포함하여.
• 모델 아키텍처(예: U-Net, YOLO, Transformers)와 학습 전략(예: 자기지도 학습, 적대적 데이터 증강)의 추세를 식별하기 위해 정성적 합성 기법을 적용하기 위해.
• 실시간 추론, 하드웨어 호환성, 사전 수술 영상 및 로봇 시스템과의 통합을 강조하는 임상 적용 프레임워크를 제안하기 위해.

실험 결과

연구 질문

• RQ1 수술 기구 분할 및 추적에 널리 사용되는 주요 딥러닝 아키텍처와 기법은 무엇인가요?
• RQ2 현재 방법들은 내 endoscopic 영상에서의 잡음, 낮은 질감, 가림 현상 등의 과제를 어떻게 다루나요?
• RQ3 기존 기준 데이터셋의 다양성, 규모, 애너테이션 품질 측면에서 주요 한계는 무엇인가요?
• RQ4 현재 방법들은 수술실에서 실시간 추론과 임상 적용을 얼마나 잘 지원하나요?
• RQ5 연합 학습이나 자기지도 학습과 같은 전략은 수술 AI에서의 데이터 부족과 개인정보 보호 문제를 어떻게 완화할 수 있나요?

주요 결과

• 수술 기구 분할 및 탐지에 대한 연구가 가장 집중되어 있으며, U-Net 및 YOLO 기반 모델이 표준 기준에서 높은 Dice 점수(최대 0.92)를 달성하였다.
• 자기지도 학습 및 주의 기반 방법이 내 endoscopic 영상의 잡음과 저대비 조건에 대해 향상된 강건성을 보였다.
• 진전이 있었음에도 불구하고, 실시간 추론를 평가한 모델의 비율은 매우 낮으며, 대부분의 모델이 프레임당 50ms 이상의 시간이 소요되어 임상적 활용에 제약가 있었다.
• EndoCV, Cholec80, JIGSAW와 같은 공개 데이터셋은 널리 사용되지만, 수술 전문 분야 및 기구 유형의 다양성이 제한되어 있었다.
• 사전 수술 영상과 내시경 딥러닝 모델의 통합은 임상 내비게이션 향상 잠재력이 크지만, 아직 탐색이 부족한 분야였다.
• 연합 학습과 합성 데이터 생성은 다중 센터 수술 AI 개발에서의 데이터 부족 및 개인정보 보호 문제를 해결하기 위한 유망한 해결책으로 부상하고 있었다.