[논문 리뷰] Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery

Michael Zhang, Xiaotian Cheng외 5명|arXiv (Cornell University)|2020. 12. 12.

Surgical Simulation and Training인용 수 14

한 줄 요약

이 논문은 오픈 수술 영상에서 수술사의 손을 자동으로 감지하고 추적하기 위해 RetinaNet 기반의 합성곱 신경망을 사용하는 컴퓨터 비전 기반 접근법을 제시한다. 다양한 공개된 유튜브 수술 영상과 손의 경계 상자 레이블을 기반으로 훈련된 모델은 기존의 수술 데이터 기반 손 감지 모델보다 뚜렷이 뛰어난 성능을 보이며, 수술 운동 패턴과 운동의 효율성 평가를 위한 정확하고 시간적으로 일관된 손 추적을 가능하게 한다.

ABSTRACT

Open, or non-laparoscopic surgery, represents the vast majority of all operating room procedures, but few tools exist to objectively evaluate these techniques at scale. Current efforts involve human expert-based visual assessment. We leverage advances in computer vision to introduce an automated approach to video analysis of surgical execution. A state-of-the-art convolutional neural network architecture for object detection was used to detect operating hands in open surgery videos. Automated assessment was expanded by combining model predictions with a fast object tracker to enable surgeon-specific hand tracking. To train our model, we used publicly available videos of open surgery from YouTube and annotated these with spatial bounding boxes of operating hands. Our model's spatial detections of operating hands significantly outperforms the detections achieved using pre-existing hand-detection datasets, and allow for insights into intra-operative movement patterns and economy of motion.

연구 동기 및 목표

• 오픈 수술 성과 평가를 위한 객관적이고 확장 가능한 도구의 부족을 해결하기 위해, 수술 평가가 여전히 주로 주관적인 전문가 평가에 의존하고 있음.
• 컴퓨터 비전을 활용하여 오픈 수술 영상에서 수술사의 손을 감지하고 추적하는 강력하고 자동화된 시스템을 개발하기 위해.
• 실제 수술 영상에서의 시각적 변형, 가림, 다양한 영상 조건 등으로 인해 발생하는 손 감지 과제를 극복하기 위해.
• 시간적으로 일관된 손 추적을 통해 수술 운동 패atters와 운동의 효율성에 대한 후속 분석을 가능하게 하기 위해.
• 다양하고 공개된 수술 영상 데이터로 훈련된 모델이 일반 손 감지 데이터셋으로 훈련된 모델보다 수술 영역에서 뛰어난 성능을 보일 수 있음을 입증하기 위해.

제안 방법

• 공간적 손 감지를 위해 프ocal 손실을 적용한 RetinaNet 기반 단일 스풷 객체 탐지기가 사용되었으며, 개별 영상 프레임에서 적용되었다.
• 공개된 오픈 수술 영상의 대규모이고 다양한 데이터셋이 유튜브에서 수집되었으며, 수술 중 손의 공간적 경계 상자로 레이블이 부여되었다.
• 모델은 일반 목적의 손 감지 데이터셋이 아닌, 이와 같은 전용 수술 영상 데이터셋 전용으로 훈련되었다.
• 프레임 수준의 손 감지 결과가 SORT(Simple Online and Realtime Tracking) 알고리즘에 입력되어 시간적으로 일관되고 손 전용 궤적을 생성하였다.
• 시스템은 영상 시퀀스 전반에 걸쳐 손 전용 추적을 가능하게 하여 운동 패턴과 기민성 분석을 지원한다.
• 추적 결과에서 유도된 궤적 맵을 생성하여 수술 중 손 움직임의 역학을 시각화하고 해석할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 공개된 오픈 수술 영상으로 훈련된 딥 러닝 모델이 일반 손 감지 데이터셋으로 훈련된 모델보다 수술 영상에서 더 뛰어난 손 감지 성능을 달성할 수 있는가?
• RQ2 오픽 수술 영상에서의 자동 손 감지 및 추적은 수술 운동 패턴과 운동의 효율성에 대한 객관적 평가를 어느 정도 지원할 수 있는가?
• RQ3 최신 기술의 객체 탐지기와 실시간 추적기의 조합이 복잡한 수술 영상 시퀀스에서 손의 정체성을 얼마나 잘 유지할 수 있는가?
• RQ4 모델은 어떤 시각적 및 맥락적 신호를 학습하여 가림, 조명 변화, 변형 등에 비해 강건한 감지를 가능하게 하는가?
• RQ5 결과로 도출된 궤적 맵은 전문가 수술 평가와 일치하는 통찰을 제공할 수 있는가?

주요 결과

• 제안된 모델은 기존의 수술 감지 데이터셋으로 훈련된 모델보다 오픈 수술 영상에서 뚜렷이 뛰어난 손 감지 성능을 보이며, 도메인 특화 일반화 능력을 입증하였다.
• 모델은 촬영에 가까운 화면, 가림, 조명 변화, 단일 프레임 내 다수의 손 등 다양한 조건에서도 손 감지를 성공적으로 수행하였다.
• 주요 오류 유형은 가짜 양성으로, 손과 형태와 위치가 유사한 수술 드레스와 같은 물체를 잘못 분류하는 경우가 많았다.
• RetinaNet 감지기와 SORT 추적기의 조합은 시간적으로 일관되고 손 전용 궤적을 생성하여 운동 패턴에 대한 의미 있는 분석을 가능하게 하였다.
• 궤적 맵은 명확한 운동 특성을 드러내었으며, 조직 절제 시에는 안정적인 움직임, 봉합 시에는 효율적이고 부드러운 운동이 관찰되었고, 이는 전문가 평가와 일치하였다.
• 시스템은 미세한 손가락 조정을 통해 높은 기민성을 식별할 수 있었으며, 이는 복잡한 작업에서의 정교한 운동 조절 능력을 반영하였다.