[논문 리뷰] Deep Neural Networks for the Assessment of Surgical Skills: A Systematic Review

Erim Yanık, Xavier Intes외 7명|arXiv (Cornell University)|2021. 03. 03.

Surgical Simulation and Training참고 문헌 54인용 수 7

한 줄 요약

이 체계적 리뷰는 운동학적 데이터와 영상 데이터를 활용한 수술 기술의 객관적이고 자동화된 평가를 위한 심층 신경망(DNNs)을 평가한다. 25개의 선정된 연구를 바탕으로 DNNs는 기술 분류 및 회귀에서 뛰어난 성능을 보이며, 분야의 발전을 위해 더 큰 규모의 공개 가능 다중모달 데이터셋이 필요하다는 점을 시사한다.

ABSTRACT

Surgical training in medical school residency programs has followed the apprenticeship model. The learning and assessment process is inherently subjective and time-consuming. Thus, there is a need for objective methods to assess surgical skills. Here, we use the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) guidelines to systematically survey the literature on the use of Deep Neural Networks for automated and objective surgical skill assessment, with a focus on kinematic data as putative markers of surgical competency. There is considerable recent interest in deep neural networks (DNN) due to the availability of powerful algorithms, multiple datasets, some of which are publicly available, as well as efficient computational hardware to train and host them. We have reviewed 530 papers, of which we selected 25 for this systematic review. Based on this review, we concluded that DNNs are powerful tools for automated, objective surgical skill assessment using both kinematic and video data. The field would benefit from large, publicly available, annotated datasets that are representative of the surgical trainee and expert demographics and multimodal data beyond kinematics and videos.

연구 동기 및 목표

• 심층 신경망(DNNs)이 자동화되고 객관적인 수술 기술 평가에 얼마나 활용되고 있는지 현재의 상태를 평가하는 것.
• DNN 기반 수술 기술 평가에서 주로 사용되는 핵심 방법론, 데이터 유형(운동학적 데이터 및 영상 데이터), 성능 지표를 규명하는 것.
• DNN 기반 수술 기술 연구에서 사용된 데이터셋의 가용성과 품질을 평가하는 것.
• 특히 데이터 다양성, 주석 처리, 다중모달 통합 측면에서 현재 연구의 격차와 과제를 파악하는 것.
• 향후 방향성 제안, 특히 대규모 공개 가능 대표성 있는 데이터셋 개발을 포함한 것.

제안 방법

• 이 연구는 DNN을 활용한 수술 기술 평가에 관한 530篇의 논문을 체계적으로 검색하고 걸러내기 위해 PRISMA 지침을 따랐다.
• 선정 기준으로는 수술 기술 평가에 DNN을 사용한 연구로, 수술 과제에서 얻은 운동학적 데이터와 영상 데이터에 중점을 두었다.
• 선정된 연구는 방법론, 데이터 모odal, 성능 지표, 데이터셋 특성 측면에서 분석되었다.
• 이 리뷰는 수술 영상 및 운동 데이터에 적용된 CNN, RNN, 하이브리드 모델 등의 DNN 아키텍처를 평가했다.
• 성능 평가는 정확도, F1-스코어, 전문가 평가와의 상관관계와 같은 지표를 사용하여 평가되었다.
• 데이터 품질, 주석 일관성, 다양한 수술 전문 분야 간 일반화 가능성의 중요성을 강조했다.

실험 결과

연구 질문

• RQ1 운동학적 데이터와 영상 데이터를 활용해 DNN이 수술 기술 수준을 분류하거나 회귀하는 데 얼마나 효과적인가?
• RQ2 수술 기술 평가에 가장 흔히 사용되는 DNN 아키텍처는 무엇이며, 성능 측면에서 어떻게 비교되는가?
• RQ3 현재 DNN 수술 기술 평가에 사용되는 데이터셋의 주요 한계는 무엇인가?
• RQ4 특히 전문가 주석 기반 기준과 연계하여, 연구 간 성능 지표의 일관성과 신뢰성은 어떻게 되는가?
• RQ5 객관적이고 자동화된 수술 기술 평가를 발전시키기 위한 핵심 연구 격차와 향후 방향성은 무엇인가?

주요 결과

• DNNs는 운동학적 데이터와 영상 데이터를 활용해 수술 기술 수준을 분류하는 데 강력한 성능을 보이며, 여러 연구에서 정확도가 90% 이상을 기록했다.
• 컨volutional Neural Networks(CNNs)와 Recurrent Neural Networks(RNNs)가 가장 널리 사용되며, 하이브리드 모델은 다중모달 데이터에서 향상된 성능을 보였다.
• 운동학적 데이터를 사용한 연구는 전문가 주석 기반 기술 평가와 높은 상관관계(r > 0.8)를 보이며 객관적 평가의 잠재력을 입증했다.
• 연구의 소수에 불과한 비율에서 공개된 데이터셋을 사용하여 재현성과 기관 및 전문 분야 간 일반화 능력에 제한을 받았다.
• 다양한 수술 전문 분야와 기술 수준의 수련생과 전문가를 포함하는 대표성 있고 다양한 데이터셋이 부족한 상황이다.
• 이 리뷰는 대규모, 다중모달, 공개 가능한 데이터셋의 긴급한 필요성을 규명하며, 자동화된 수술 기술 평가 분야의 진전을 가속화할 것을 제안한다.