[논문 리뷰] Surgical Visual Domain Adaptation: Results from the MICCAI 2020 SurgVisDom Challenge

Aneeq Zia, Kiran Bhattacharyya외 11명|arXiv (Cornell University)|2021. 02. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 13

한 줄 요약

이 논문은 2020년 MICCAI SurgVisDom 챌린지의 결과를 제시하며, 가상현실(VR) 시뮬레이션에서 학습한 모델을 임상 유사 흑백 돼지 영상에서 테스트함으로써 외과 영상 분석에서 시각적 도메인 적응을 조사한다. 주요 발견은 조그만 양의 임상 유사 데이터조차도 모델의 일반화 능력을 크게 향상시키며, 순수 VR 데이터로만 학습한 모델보다 성능이 뛰어나다는 것이다.

ABSTRACT

Surgical data science is revolutionizing minimally invasive surgery by enabling context-aware applications. However, many challenges exist around surgical data (and health data, more generally) needed to develop context-aware models. This work - presented as part of the Endoscopic Vision (EndoVis) challenge at the Medical Image Computing and Computer Assisted Intervention (MICCAI) 2020 conference - seeks to explore the potential for visual domain adaptation in surgery to overcome data privacy concerns. In particular, we propose to use video from virtual reality (VR) simulations of surgical exercises in robotic-assisted surgery to develop algorithms to recognize tasks in a clinical-like setting. We present the performance of the different approaches to solve visual domain adaptation developed by challenge participants. Our analysis shows that the presented models were unable to learn meaningful motion based features form VR data alone, but did significantly better when small amount of clinical-like data was also made available. Based on these results, we discuss promising methods and further work to address the problem of visual domain adaptation in surgical data science. We also release the challenge dataset publicly at https://www.synapse.org/surgvisdom2020.

연구 동기 및 목표

• 개인정보 보호 및 데이터 공유 제약으로 인해 공개된 외과 데이터셋이 제한적인 문제를 해결하기 위해.
• 로봇-assisted 외과 수술의 가상현실(VR) 시뮬레이션이 실제 임상 환경에서의 수술 작업 인식 학습을 대체로 활용할 수 있는지 탐색하기 위해.
• 가상현실에서의 지식을 임상 유사 외과 영상 도메인으로 전이하는 데에 시각적 도메인 적응 기법의 효과를 평가하기 위해.
• 순수 VR 데이터로 학습한 모델(어려운 도메인 적응)과 소량의 임상 데이터로 피니터닝한 모델(부드러운 도메인 적응)의 성능을 비교하기 위해.

제안 방법

• 외과 영상 분석에서 시각적 도메인 적응 방법을 평가하기 위해 MICCAI 2020 내 endoscopic vision(EndoVis) 경쟁 내 챌린지를 조직하였다.
• 두 가지 학습 방식을 제공: 하나는 순수 VR 영상만 사용하는 것(어려운 도메인 적응), 다른 하나는 VR 영상과 소량의 돼지 모델 영상 조합을 사용하는 것(부드러운 도메인 적응).
• 모든 참가자 제출물에 3차원 합성곱 신경망(3D-CNN)을 핵심 아키텍처로 사용하였으며, 전처리 및 특징 추출 방식에 차이가 있었다.
• da Vinci 수술 시뮬레이터에서 확보한 데이터(VR)와 실제 돼지 모델에서 확보한 데이터를 사용하였으며, 영상 프레임 레이트(60 fps VR, 20 fps 돼지) 및 해상도가 다를 수 있었다.
• 표준 영상 행동 인식 평가 지표로 가중 및 비가중 F1 점수, 전반적 F1 점수, 균형 잡힌 정확도를 사용하였다.
• 일부 제출물에서는 도구 감지 및 광학 흐름 추정을 전처리 기법으로 적용하였으며, 특징 학습을 향상시키기 위해 Kinetics 데이터셋으로 사전 학습된 모델을 사용하였다.

실험 결과

연구 질문

• RQ1 순수 가상현실(VR) 외과 시뮬레이션에서 학습한 모델은 실제 임상 유사 외과 영상 도메인으로 일반화될 수 있는가?
• RQ2 소량의 실제 임상 유사 영상 데이터를 포함시킬 경우, 다양한 도메인 간 수술 작업 인식 성능 향상 정도는 어느 정도인가?
• RQ3 다양한 딥 러닝 아키텍처와 전처리 전략(예: 도구 감지, 광학 흐름)이 외과 영상 분석에서의 도메인 적응 성능에 어떤 영향을 미치는가?
• RQ4 순수 VR 데이터로 학습한 모델과 제한된 임상 데이터로 피니터닝한 모델 간의 성능 차이는 다양한 수술 작업에서 어떻게 나타나는가?
• RQ5 클래스 불균형과 데이터셋 크기는 외과 시각적 도메인 적응에서 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 순수 VR 데이터로 학습한 모델(Category 2)은 무작위 기준선보다 약간 높은 성능를 보이며, 임상 유사 도메인으로의 일반화 능력이 열악함을 시사한다.
• 조그만 비율(~10%)의 임상 유사 돼지 영상 데이터를 학습에 포함시킬 경우(Category 1), 모든 평가 지표에서 성능 향상이 뚜렷했으며, 최고의 팀(Parakeet)은 균형 잡힌 정확도 0.559를 기록하였다.
• 모든 팀이 Category 1에서 무작위 예측을 초월하는 성능를 보였으며, 이는 VR와 임상 데이터의 조합이 이전에 학습된 특징을 이식 가능하게 한다는 것을 입증한다.
• Dissection 작업에서 성능가 가장 일관되었으며, Knot-tying과 Needle-driving 작업에서는 성능가 낮았는데, 이는 해당 클래스에 대한 학습 샘플 수가 적었기 때문이다.
• 팀 Parakeet는 가장 높은 균형 잡힌 정확도(0.559)와 전반적 F1 점수(0.475)를 기록하여, 특히 Dissection와 Needle-driving 작업에서 다른 팀들을 앞섰다.
• Kinetics에서의 사전 학습과 도구 감지 전처리는 Category 1에서 성능 향상을 이끌었지만, Category 2에서는 유사한 성과를 내지 못했으며, 이는 실제 데이터 없이도 도메인 간 변화가 여전히 주요 과제임을 시사한다.