[논문 리뷰] Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks

Amy Jin, Serena Yeung외 5명|arXiv (Cornell University)|2018. 02. 24.

Surgical Simulation and Training참고 문헌 19인용 수 42

한 줄 요약

논문은 실제 세계의 복강경 비디오에서 수술 도구를 탐지하고 위치화하기 위해 Faster R-CNN 기반의 지역 기반 CNN 접근법을 도입하고, 새로운 도구 위치 데이터셋을 구축하며, 도구 메트릭을 사용하여 GOALS에 기반한 피드백 포함한 수술 성능을 평가한다.

ABSTRACT

Five billion people in the world lack access to quality surgical care. Surgeon skill varies dramatically, and many surgical patients suffer complications and avoidable harm. Improving surgical training and feedback would help to reduce the rate of complications, half of which have been shown to be preventable. To do this, it is essential to assess operative skill, a process that currently requires experts and is manual, time consuming, and subjective. In this work, we introduce an approach to automatically assess surgeon performance by tracking and analyzing tool movements in surgical videos, leveraging region-based convolutional neural networks. In order to study this problem, we also introduce a new dataset, m2cai16-tool-locations, which extends the m2cai16-tool dataset with spatial bounds of tools. While previous methods have addressed tool presence detection, ours is the first to not only detect presence but also spatially localize surgical tools in real-world laparoscopic surgical videos. We show that our method both effectively detects the spatial bounds of tools as well as significantly outperforms existing methods on tool presence detection. We further demonstrate the ability of our method to assess surgical quality through analysis of tool usage patterns, movement range, and economy of motion.

연구 동기 및 목표

• 실제 세계의 복강경 비디오에서 수술 도구의 자동 탐지, 분류 및 공간 위치화를 수행한다.
• 도구 주위의 바운딩 박스가 포함된 데이터셋(m2cai16-tool-locations)을 생성하고 공개한다.
• 도구 사용 패턴과 움직임 지표를 분석하여 수술 성능을 평가할 수 있게 한다.
• 공간 탐지가 프레임 단위 도구 존재 탐지를 향상시키고 성능 평가를 지원한다는 것을 입증한다.

제안 방법

• VGG-16 기초 네트워크를 가진 Faster R-CNN을 사용하여 일곱 가지 수술 도구를 탐지한다.
• ImageNet에서 프리트레인한 뒤 m2cai16-tool-locations에서 공간 도구 위치화를 위해 미세조정한다.
• IoU 기반 앵커를 가진 Region Proposal Network를 학습하고 분류와 바운딩 박스 회귀를 결합하는 이중 손실을 사용한다.
• 공간 탐지를 프레임 레벨 존재로 변환하여 m2cai16-tool에서 비교한다.
• 클래스별 평균정밀도와 평균정밀도(mAP)로 평가한다.
• 5 fps의 실시간 탐지를 제공하고 도구 궤적 및 사용 패턴에서 성능 지표를 추출한다.

실험 결과

연구 질문

• RQ1 지역 기반 CNN이 실제 세계의 복강경 비디오에서 수술 도구를 정확하게 위치화할 수 있는가?
• RQ2 공간 도구 위치화가 이전 방법에 비해 프레임 수준 존재 탐지 성능을 향상시키는가?
• RQ3 자동화된 도구 위치화가 수술 기술과 기법에 대한 신뢰할 수 있고 객관적인 평가를 가능하게 하는가?
• RQ4 도구 사용에서 파생된 질적·양적 지표 중 어떤 것이 전문가 GOALS 등급과 상관관계가 있는가?

주요 결과

• 모델은 일곱 가지 도구에 걸친 공간 도구 위치화에서 63.1의 mAP를 달성한다.
• 프레임 수준 도구 존재 탐지는 81.8의 mAP를 달성하여 이전 Tool Presence Detection Challenge 결과를 크게 앞선다.
• 공간 위치화는 도구 사용 패턴, 움직임 범위, 움직임의 경제성 분석을 가능하게 하며 GOALS 기반 평가와 상관관계가 있다.
• Q1–Q4: 공간 도구 탐지는 가려짐과 각도 변화에도 강건하며, 다만 일부 도구(예: irrigator)는 형태 모호성과 사용 패턴으로 인해 AP가 낮다.
• 해당 방법은 표준 GPU 하드웨어에서 5 fps의 실시간 실행이다.
• 연구는 2532개의 주석 프레임을 가진 m2cai16-tool-locations를 공개적으로 소개하고 공개한다.