[논문 리뷰] Coarse-to-fine Surgical Instrument Detection for Cataract Surgery Monitoring

Hassan Al Hajj, Gwenolé Quellec외 3명|arXiv (Cornell University)|2016. 09. 19.

Retinal Imaging and Analysis참고 문헌 10인용 수 4

한 줄 요약

이 논문은 캐타라크 수술 중 수술 기구의 실시간 감지를 위한 코arse-to-fine, k-NN 기반 방법을 제안한다. 이는 테이블과 현미경의 두 개의 비디오 스트림을 사용하며, 정적 기구 분할(A_z = 0.982)과 동적 변화 감지(A_z = 0.947)에서 높은 정확도를 달성하여, 기구의 테이블 진입 및 퇴장 추적을 통해 개선된 수술 모니터링을 가능하게 한다.

ABSTRACT

The amount of surgical data, recorded during video-monitored surgeries, has extremely increased. This paper aims at improving existing solutions for the automated analysis of cataract surgeries in real time. Through the analysis of a video recording the operating table, it is possible to know which instruments exit or enter the operating table, and therefore which ones are likely being used by the surgeon. Combining these observations with observations from the microscope video should enhance the overall performance of the systems. To this end, the proposed solution is divided into two main parts: one to detect the instruments at the beginning of the surgery and one to update the list of instruments every time a change is detected in the scene. In the first part, the goal is to separate the instruments from the background and from irrelevant objects. For the second, we are interested in detecting the instruments that appear and disappear whenever the surgeon interacts with the table. Experiments on a dataset of 36 cataract surgeries validate the good performance of the proposed solution.

연구 동기 및 목표

• 수술 기구의 정확한 감지를 통해 캐타라크 수술의 실시간 자동 분석을 향상시키기 위해.
• 부분적 가림과 다양한 시점 변화가 있는 많은 수의 외관이 유사한 기구를 감지하는 데 도전하는 문제를 해결하기 위해.
• 배경의 혼잡함과 기구의 출현/사라짐을 구분하고 추적할 수 있는 방법을 개발하기 위해.
• 테이블 뷰에서의 정확한 기구 존재 정보를 제공함으로써 현미경 영상 분석과의 통합을 향상시키기 위해.
• 신뢰할 수 있는 기구 감지를 통해 수술 단계 식별 및 숙련도 평가와 같은 후속 응용을 지원하기 위해.

제안 방법

• 이 방법은 이미지의 다운샘플링과 빠른 k-NN 근사 기법을 사용하여 k-NN 기반 기구 감지를 가속화하는 코어스-투-파인 검색 전략을 사용한다.
• 정적 감지를 위해, 초기 테이블 영상에서 局부 패치 특징을 추출하고, 수동으로 세그먼테이션된 기준 패치와 k-NN 회귀를 사용하여 기구 확률을 예측한다.
• 동적 감지를 위해, 행동 전후 프레임 간의 차이 영상을 분석하고, 局부 변화 특징을 계산하여 k-NN을 통해 출현 또는 사라진 기구를 감지한다.
• 수동으로 36개의 캐타라크 수술 영상에서 기구와 변화를 세그먼테이션한 레이블을 포함한 강력한 지도 학습 접근법을 사용한다.
• 정적 감지에 D-PSO를, 동적 감지에 그리드 서치를 사용하여 파라미터 최적화를 수행하며, 정적 단계에서 고정된 파라미터를 사용한다.
• 시스템은 수술 테이블 영상 스트림을 활용하여 기구 사용을 추론함으로써 현미경 기반 분석의 모호성을 줄인다.

실험 결과

연구 질문

• RQ1 코어스-투-파인 k-NN 접근법이 캐타라크 수술 영상에서 높은 정확도로 수술 기구를 효과적으로 감지할 수 있는가?
• RQ2 시스템은 타월이나 용기와 같은 배경 혼잡물이나 관련 없는 물체와 기구를 얼마나 잘 구분할 수 있는가?
• RQ3 이중 비디오 스트림(테이블 및 현미경)을 사용할 경우 단일 스트림 방법에 비해 기구 감지 성능이 얼마나 향상되는가?
• RQ4 수술 동작 중 기구의 출현 및 퇴장 이벤트를 신뢰성 있게 감지할 수 있는가?
• RQ5 파라미터 선택이 감지 성능에 어떤 영향을 미치며, D-PSO 및 그리드 서치와 같은 최적화 기법이 성능의 안정성을 향상시킬 수 있는가?

주요 결과

• 정적 기구 감지 방법은 수술 기구와 배경 간의 강한 분리 능력을 보여주는 ROC 곡선 아래 면적(A_z)이 0.982를 기록했다.
• 동적 기구 감지 방법은 행동 중 출현 또는 사라지는 기구를 효과적으로 감지하여 A_z가 0.947를 기록했다.
• 학습 데이터에 타월과 같은 배경 물체가 수동으로 애너테이션되지 않은 상태에서도 기구를 정확히 세그먼테이션했다.
• 비디오 결과에서 기구의 진입 또는 퇴장을 성공적으로 식별했으며, 극단적인 시점 변화 상황에서는 성능 저하가 관찰되었다.
• D-PSO와 그리드 서치를 사용한 파라미터 최적화가 감지 성능을 크게 향상시켰으며, 36宗의 수술 데이터셋 전반에서 안정적인 결과를 보였다.
• 코어스-투-파인 전략은 높은 감지 정확도를 유지하면서도 계산 비용을 효과적으로 감소시켰다.