[논문 리뷰] SuPer Deep: A Surgical Perception Framework for Robotic Tissue Manipulation using Deep Learning for Feature Extraction

Jingpei Lu, Ambareesh Jayakumari외 3명|arXiv (Cornell University)|2020. 03. 07.

Surgical Simulation and Training참고 문헌 46인용 수 15

한 줄 요약

SuPer Deep는 마커 없는 수술 기구 추적과 향상된 스테레오 기반 탄성 조직 재구성에 두 개의 딥 네ural 네트워크(DNN)를 통합하는 딥 러닝 기반 수술 인식 프레임워크를 제안한다. 최소한의 훈련 데이터로 전이 학습을 활용함으로써 도구 자세 추정(91.0% 평균 IoU)과 깊이 맵 정확도에서 최신 기술 수준의 성능을 달성하여 수동 특징 공학 및 페인팅된 마커에 대한 의존도를 크게 감소시킨다.

ABSTRACT

Robotic automation in surgery requires precise tracking of surgical tools and mapping of deformable tissue. Previous works on surgical perception frameworks require significant effort in developing features for surgical tool and tissue tracking. In this work, we overcome the challenge by exploiting deep learning methods for surgical perception. We integrated deep neural networks, capable of efficient feature extraction, into the tissue reconstruction and instrument pose estimation processes. By leveraging transfer learning, the deep learning based approach requires minimal training data and reduced feature engineering efforts to fully perceive a surgical scene. The framework was tested on three publicly available datasets, which use the da Vinci Surgical System, for comprehensive analysis. Experimental results show that our framework achieves state-of-the-art tracking performance in a surgical environment by utilizing deep learning for feature extraction.

연구 동기 및 목표

• 수술 인식에서 수동 특징 공학의 한계를 극복하기 위해 강력한 특징 추출을 위한 딥 러닝의 활용.
• 전통적인 스테레오 알고리즘에 대한 의존도를 줄이기 위해 딥 러닝 기반 스테레오 매칭을 통한 탄성 조직 추적 향상.
• 수술 기구 추적에서 페인팅된 마커와 키포인트 연동의 필요성을 제거하고 마커 없는 운영을 가능하게 하기 위해.
• 공개 데이터셋을 통한 종합적 평가를 통해 수술 로봇 분야에서 탄성 조직 추적에 대한 표준화된 벤치마크 수립.
• 수술 응용 분야에서 일반적인 저데이터 환경에서도 딥 러닝이 고정밀 인식을 달성할 수 있음을 입증하기 위해.

제안 방법

• 두 개의 딥 네ural 네트워크 통합: DNN(1)은 깊이 맵 생성을 위한 스테레오 특징 매칭을 담당하고, DNN(2)는 수술 기구 특징을 탐지한다.
• ImageNet 사전 훈련 모델을 활용한 전이 학습을 통해 단지 60~80개의 훈련 샘플로도 높은 성능의 특징 탐지가 가능하도록 한다.
• 신뢰도 가중 관측치를 갖춘 입자 필터를 도입하여 저신뢰도 또는 잘못 탐지된 특징을 처리함으로써 정확도를 향상시킨다.
• 깊이 맵을 탄성 조직 모델에 융합하고 카메라 프레임 내에서 기구의 실시간 국소화를 통해 전체 장면 재구성.
• 공개된 da Vinci® 수술 데이터셋 세 종류에 SuPer Deep 프레임워크를 적용하여 종합적 평가 수행.
• 수술 내 endoscopy에서 깊이 추정을 위한 딥 러닝 기반 스테레오 매칭(e.g., AdaBins, DPT)과 고전적 방법(e.g., ELAS) 간의 정량적 비교.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 특징 추출이 수술 기구 추적에서 전통적인 수작업 특징 공학을 능가할 수 있는가?
• RQ2 전이 학습을 통해 수술 로봇 분야에서 최소한의 주석이 달린 훈련 데이터로도 고정밀도의 기구 특징 탐지가 가능할 수 있는가?
• RQ3 탄성 조직 추적을 위한 깊이 맵 재구성에서 딥 러닝 기반 스테레오 매칭은 고전적 방법보다 어떻게 비교되는가?
• RQ4 완전한 엔드 투 엔드 딥 러닝 프레임워크가 마커와 키포인트 연동이 없는 수술 인식에서 필요성을 제거할 수 있는가?
• RQ5 딥 러닝은 최소 침습 수술에서 3D 조직 재구성의 현실감과 정확도에 어떤 영향을 미치는가?

주요 결과

• SuPer Deep는 수술 기구 세그먼테이션에서 91.0% 평균 교차율(IoU)을 달성하여 원래의 SuPer 방법(82.8%)보다 뚜렷한 향상을 보였다.
• 딥 러닝 기반 스테레오 매칭을 활용함으로써 깊이 추정의 픽셀 단위 루트 평균 제곱 오차(RMS error)가 감소했으며, 더 깊은 네트워크인 AdaBins와 DPT가 뛰어난 성능을 보였다.
• DNN(2)의 수술 기구 특징 탐지 훈련에 단지 60~80개의 훈련 샘플만 필요로 하여 전이 학습을 통한 높은 데이터 효율성을 입증했다.
• 프레임워크는 마커 없는 기구 추적을 성공적으로 구현하여 이전 방법에서 사용된 페인팅된 마커의 필요성을 제거했다.
• DNN에서 생성된 신뢰도 점수는 특징 탐지 실패의 영향을 완화시키며, 저신뢰도 탐지가 자세 추정 성능을 떨어뜨리지 않았다.
• 재구성된 3D 장면은 현실적인 조직 기하학을 보였고, 도구가 포인트 클라우드 위에 정확하게 오버레이되어 환경의 정밀도가 향상됨을 시사했다.