[논문 리뷰] ESAD: Endoscopic Surgeon Action Detection Dataset

Vivek Singh Bawa, Gurkirt Singh외 9명|arXiv (Cornell University)|2020. 06. 12.

Surgical Simulation and Training인용 수 8

한 줄 요약

이 논문은 실제 프로스타토미의 영상에서 내 endoscopic 수술사의 행동을 탐지하기 위한 첫 번째 대규모 데이터셋인 ESAD를 소개한다. 도구 수준의 바운딩 박스와 행동 레이블이 포함되어 있으며, ResNet 기반의 SSD를 사용한 프레임 수준의 행동 탐지 베이스라인 모델을 제안한다. Focal 및 OHEM 손실 함수를 적용하여 테스트 세트에서 평균 AP 16.1을 달성하였으며, 수술 로봇 및 AI 보조 수술 연구 분야의 기준을 설정한다.

ABSTRACT

In this work, we take aim towards increasing the effectiveness of surgical assistant robots. We intended to make assistant robots safer by making them aware about the actions of surgeon, so it can take appropriate assisting actions. In other words, we aim to solve the problem of surgeon action detection in endoscopic videos. To this, we introduce a challenging dataset for surgeon action detection in real-world endoscopic videos. Action classes are picked based on the feedback of surgeons and annotated by medical professional. Given a video frame, we draw bounding box around surgical tool which is performing action and label it with action label. Finally, we presenta frame-level action detection baseline model based on recent advances in ob-ject detection. Results on our new dataset show that our presented dataset provides enough interesting challenges for future method and it can serveas strong benchmark corresponding research in surgeon action detection in endoscopic videos.

연구 동기 및 목표

• 미니멀 인바이지브 수술(MIS) 영상에서 수술사 행동 탐지에 대한 실제 세계 데이터셋의 부족을 해결하기 위해.
• 수술 보조 로봇의 안전성과 효율성을 향상시키기 위해 수술사 행동에 대한 실시간 인식을 가능하게 하기 위해.
• 내 endoscopic 수술 영상 분석 분야에서 AI 모델을 개발하고 평가하기 위한 표준화된 벤치마크를 제공하기 위해.
• 자율 수술 보조 시스템, 이질성 탐지, 수술사 피드백 시스템 연구를 지원하기 위해.

제안 방법

• ESAD 데이터셋은 프로스타토미 수술 절차에서 촬영한 실제 내 endoscopic 영상으로 구성되며, 행동 레이블과 도구별 바운딩 박스로 주석 처리되어 있다.
• 행동 클래스는 수술사 피드백을 바탕으로 선정되었으며, 임상적 관련성을 확보하기 위해 의료 전문가의 검증을 거쳤다.
• 특징 추출을 위해 ResNet 기반의 단일 검출기(SSD)를 사용한 프레임 수준의 행동 탐지 베이스라인 모델을 개발하였다.
• 클래스 불균형 문제를 해결하고 정확도를 향상시키기 위해 Focal Loss 및 온라인 하드 예외 마이닝(OHEM) 손실 함수를 평가하였다.
• 성능 트레이드오프를 평가하기 위해 여러 입력 이미지 크기(200–800)와 다양한 백본 네트워크(ResNet18에서 ResNet101까지)를 사용하여 모델을 훈련시켰다.
• 평가에는 IOU 임계치 3개(0.1, 0.3, 0.5)를 사용하여 검증 및 테스트 세트의 AP10, AP30, AP50 및 평균 AP를 계산하였다.

실험 결과

연구 질문

• RQ1 정확한 도구 수준 주석이 포함된 실제 세계적이고 임상적으로 관련성이 있는 내 endoscopic 수술사 행동 탐지 데이터셋을 구축할 수 있는가?
• RQ2 다양한 손실 함수(Focal 대비 OHEM)는 수술 영상 행동 탐지 성능에 어떤 영향을 미치는가?
• RQ3 입력 이미지 해상도와 백본 네트워크의 깊이가 이 도전적인 의료 시각 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 베이스라인 모델이 실제 수술 영상 시퀀스의 미리보지 않은 테스트 데이터에 얼마나 일반화되는가?

주요 결과

• Focal Loss 기반 모델이 테스트 세트에서 가장 높은 평균 AP 16.1을 기록하여, 미리 보지 않은 데이터에 대한 더 나은 일반화 능력을 보였다.
• OHEM 손실은 검증 세트에서는 더 나은 성능(평균 AP 24.4)을 보였지만, 테스트 세트에서는 성능이 열등하여 검증 데이터에 대한 과적합이 일어났음을 시사했다.
• 더 큰 입력 이미지 크기(예: 800)는 테스트 성능을 일관되게 향상시키지 못했으며, OHEM 손실을 사용할 경우 검증 점수는 향상되었다.
• 중간 깊이의 백본(예: ResNet34 및 ResNet50)이 더 깊은 모델(예: ResNet101)보다 성능이 뛰어나, 이 작업에 최적의 복잡도가 있음을 시사했다.
• 데이터셋은 도전적인 과제를 내포하고 있으며, 최고의 베이스라인 모델조차도 테스트 세트에서 평균 AP 16.1에 머물러 있어未래의 방법론적 발전이 필요함을 강조한다.
• 결과는 표준 컴퓨터 비전 기법이 이 도메인에는 부족함을 겪음을 확인하였으며, ESAD와 같은 전용 벤치마크가 필요하다는 점을 입증한다.