[논문 리뷰] The SARAS Endoscopic Surgeon Action Detection (ESAD) dataset: Challenges and methods

Vivek Singh Bawa, Gurkirt Singh외 17명|arXiv (Cornell University)|2021. 04. 07.

Surgical Simulation and Training참고 문헌 43인용 수 29

한 줄 요약

이 논문은 엔도스코스 기반 PROSTATEctomy에서 외과 의사 행동 탐지를 위한 ESAD를 처음 소개하고, 베이스라인 모델과 최상위 챌린지 방법들을 분석하며, 향후 수술 로봇 공학 연구를 위한 도전 과제와 벤치마크를 논의한다.

ABSTRACT

For an autonomous robotic system, monitoring surgeon actions and assisting the main surgeon during a procedure can be very challenging. The challenges come from the peculiar structure of the surgical scene, the greater similarity in appearance of actions performed via tools in a cavity compared to, say, human actions in unconstrained environments, as well as from the motion of the endoscopic camera. This paper presents ESAD, the first large-scale dataset designed to tackle the problem of surgeon action detection in endoscopic minimally invasive surgery. ESAD aims at contributing to increase the effectiveness and reliability of surgical assistant robots by realistically testing their awareness of the actions performed by a surgeon. The dataset provides bounding box annotation for 21 action classes on real endoscopic video frames captured during prostatectomy, and was used as the basis of a recent MIDL 2020 challenge. We also present an analysis of the dataset conducted using the baseline model which was released as part of the challenge, and a description of the top performing models submitted to the challenge together with the results they obtained. This study provides significant insight into what approaches can be effective and can be extended further. We believe that ESAD will serve in the future as a useful benchmark for all researchers active in surgeon action detection and assistive robotics at large.

연구 동기 및 목표

• 엔도스코스 기반 MIS 절차에서 외과 의사 행동 탐지를 위한 ESAD 데이터세트를 도입한다.
• 실제 엔도스코스 프레임에 대한 바운딩 박스를 포함한 주석 프로토콜과 행동 클래스를 정의한다.
• SARAS-ESAD 챌린지와 베이스라인 모델을 통해 벤치마킹 프레임워크를 확립한다.
• 향후 연구를 위한 외과 행동 탐지의 도전 과제와 특성을 식별한다.

제안 방법

• 실제 radical prostatectomy 엔도스코프 프레임에 대해 바운딩 박스로 주석된 21개 행동 클래스로 ESAD를 생성한다.
• 수동 바운딩 박스 주석을 위해 VoTT를 사용하고 (장기-도구 근접성, 30-70% 내용 규칙)와 같은 행동-맥락 라벨링을 보장하기 위한 엄격한 지침을 정의한다.
• Feature Pyramidal Network (FPN) 기반의 ResNet 백본과 고정 BN 계층을 갖는 단일 스테이지 검출기를 베이스라인으로 공개한다.
• 클래스 불균형을 해결하기 위해 Online Hard Example Mining (OHEM)과 focal loss의 두 가지 탐지 손실을 실험한다.
• Frame-mAP으로 IoU 임계값 0.1, 0.3, 및 0.5에서 mean Average Precision (mAP)로 평가한다.
• 복제를 가능하게 하기 위한 구현 세부정보 및 오픈소스 베이스라인 코드를 제공한다.

실험 결과

연구 질문

• RQ1 내시경 비디오에서 외과 의사 행동을 탐지하는 데 있어서 방법론적·실용적 도전 과제는 무엇인가?
• RQ2 ESAD 데이터세트가 MIS/R-MIS 설정에서 행동 탐지 방법의 벤치마킹을 어떻게 가능하게 하는가?
• RQ3 다양한 검출기 아키텍처와 손실 함수가 서로 다른 IoU 임계값에서 ESAD에서 어떻게 성능을 발휘하는가?
• RQ4 클래스 불균형과 미세한 행동 정의가 탐지 성능에 미치는 영향은 무엇인가?
• RQ5 베이스라인과 최상위 방법들이 검증 세트와 테스트 세트에서 어떻게 비교되는가?

주요 결과

• ESAD는 4개의 RARP 비디오에 걸쳐 46,325개의 행동 인스턴스가 21개 클래스에 걸쳐 있다.
• 학습, 검증, 테스트 분할은 각각 22,601 프레임(28,055 인스턴스), 4,574 프레임(7,133 인스턴스), 6,223 프레임(11,565 인스턴스)을 포함한다.
• 베이스라인 결과는 이미지 크기 증가가 OHEM 손실과 함께 검증 정확도를 향상시키지만, 클래스 불균형 차이로 인해 테스트 세트에는 반드시 반영되지 않을 수 있음을 보여준다.
• 데이터셋은 높은 intra-class variation과 낮은 inter-class variation을 보이며 미세한 행동 구분이 도전적이다.
• 주석 지침은 30-70% 객체-콘텐츠 균형을 포함하는 바운딩 박스를 적용하고, 행동 라벨링을 위한 도구-장기 맥락의 근접성 요건을 요구한다.