[논문 리뷰] Real-time image-based instrument classification for laparoscopic surgery

Sebastian Bodenstedt, Antonia Ohnemus외 7명|arXiv (Cornell University)|2018. 08. 01.

Robotics and Sensor-Based Localization참고 문헌 9인용 수 8

한 줄 요약

이 논문은 두 단계의 파이프라인을 사용하여 실시간으로 내시경 수술 기구를 감지하고 분류하는 이미지 기반 방법을 제시한다: 첫 번째로, GPU 가속화된 랜덤 포레스트를 통해 픽셀 단위 분할을 수행하여 기구 후보 경계 상자 생성; 두 번째로, 색상, 포화도, 기울기, SURF 등의 다중 모odal 특징을 사용하여 각 상자를 랜덤 포레스트의 계열적 조합으로 분류한다. 이 시스템은 실시간 내시경 영상에서 자동으로 감지된 상자에서 80%의 기구 감지 및 49%의 분류 정확도를 달성한다.

ABSTRACT

During laparoscopic surgery, context-aware assistance systems aim to alleviate some of the difficulties the surgeon faces. To ensure that the right information is provided at the right time, the current phase of the intervention has to be known. Real-time locating and classification the surgical tools currently in use are key components of both an activity-based phase recognition and assistance generation. In this paper, we present an image-based approach that detects and classifies tools during laparoscopic interventions in real-time. First, potential instrument bounding boxes are detected using a pixel-wise random forest segmentation. Each of these bounding boxes is then classified using a cascade of random forest. For this, multiple features, such as histograms over hue and saturation, gradients and SURF feature, are extracted from each detected bounding box. We evaluated our approach on five different videos from two different types of procedures. We distinguished between the four most common classes of instruments (LigaSure, atraumatic grasper, aspirator, clip applier) and background. Our method succesfully located up to 86% of all instruments respectively. On manually provided bounding boxes, we achieve a instrument type recognition rate of up to 58% and on automatically detected bounding boxes up to 49%. To our knowledge, this is the first approach that allows an image-based classification of surgical tools in a laparoscopic setting in real-time.

연구 동기 및 목표

• 실시간으로 맥락 인식이 가능한 보조 기능을 제공하기 위해 현재 사용 중인 수술 기구를 식별하는 것.
• 마커나 사전 정의된 모델에 의존하지 않고 내시경 영상만을 사용하여 기구 유형을 인식하는 과제를 해결하는 것.
• 막힘, 운동 블러, 조명 변화와 같은 요인에도 불구하고 내구성 있고 실시간으로 기구를 감지하고 분류할 수 있는 시스템을 개발하는 것.
• 두 가지 수술 절차에서의 다양한 내시경 영상 데이터를 사용하여 방법의 임상적 관련성을 확보하고 평가하는 것.

제안 방법

• 임계값 처리된 회색조 영상에서 역행 각도의 코너에서 중심으로의 이동을 이용하여 원형 시야 경계를 감지하고 마스킹하여 내시경 영상 전처리.
• 다중 스펙트럼 특징(RGB, HSV, LAB, 반대 색상, 기울기)을 사용한 GPU 최적화된 픽셀 단위 랜덤 포레스트 분할을 적용하여 기구 후보 영역 식별.
• 형태학적 닫힘 연산을 통해 분할 결과를 개선하고 유사한 주요 방향을 가진 윤곽선을 병합하여 연결된 성분 생성.
• 가장 큰 다섯 개의 윤곽선에서 축에 평행한 경계 상자를 추출하고 분류 단계로 전달.
• 10개의 히스토그램 바이닝을 사용한 색상과 포화도, 기울기 크기, 주성분 분석을 통해 감소된 SURF 특징을 포함한 입력 특징을 사용하여 두 개의 랜덤 포레스트 분류기 계열을 사용해 기구 유형을 식별.
• 라벨링된 기구 경계 상자와 기구 유형을 포함한 주석 처리된 내시경 영상 데이터를 사용하여 시스템을 훈련.

실험 결과

연구 질문

• RQ1 외부 마커나 사전 훈련된 3D 모델 없이도 실시간으로 이미지 기반 시스템이 내시경 기구를 감지하고 분류할 수 있는가?
• RQ2 실제 수술 조건에서 유사한 외관을 가진 기구들(예: LigaSure, 비손상성 그립퍼, 진공흡입기)을 구분하는 데 다중 특징 랜덤 포레스트 접근 방식이 얼마나 효과적인가?
• RQ3 자동으로 감지된 경계 상자에서 기구를 분류할 때의 성능은 수동으로 그린 상자에서의 성능과 비교해 어떻게 되는가?
• RQ4 막힘, 운동 블러, 조명 변화는 실내시경 영상에서 기구 감지 및 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 이 시스템은 두 데이터셋에서 모든 기구의 80%를 성공적으로 감지하였으며, Set 1과 Set 2에서 각각 94%와 85%의 감지율을 기록하였다.
• 수동으로 그린 경계 상자에서 기구 유형 분류 정확도는 Set 1에서 58%, Set 2에서 52%에 도달하여 감지가 정확할 경우 높은 식별 잠재력을 보였다.
• 자동으로 감지된 경계 상자에서 기구를 분류할 때 시스템은 Set 1에서 49%, Set 2에서 48%의 정확도를 달성하여 실시간 구현의 내구성을 확인하였다.
• 가장 흔한 오분류는 유사한 샤프트를 가진 기구들(예: LigaSure, 비손상성 그립퍼, 진공흡입기) 사이에서 발생했으며, 특히 조명이 나쁘거나 부분적으로 막힐 경우 더욱 두드러졌다.
• 운동 블러, 겹치는 기구, 기구 끝부분의 완전한 가시성 부족은 주요 오류 원인이었으며, 종종 병합 감지 또는 잘못된 경고로 이어졌다.
• 감지 시스템은 22.2 프레임/초(프레임당 45ms)로 작동하고, 분류 시스템은 32.5 프레임/초(프레임당 30ms)로 작동하여 임상 적용에 필요한 실시간 요구 조건을 충족시켰다.