[논문 리뷰] SERV-CT: A disparity dataset from CT for validation of endoscopic 3D reconstruction

Philip Edwards, Dimitrios Psychogyios외 3명|arXiv (Cornell University)|2020. 12. 22.

Anatomy and Medical Technology참고 문헌 27인용 수 6

한 줄 요약

이 논문은 고등포 사체의 CT 스캔에서 유도된 새로운 스테레오 내 endoscopic 검증 데이터셋인 SERV-CT를 소개한다. 이 데이터셋은 외과적 3D 재구성에 적합한 정확한 디스parity 및 깊이 추정을 가능하게 하며, 내시경 시각을 CT에서 유도된 기하학에 수동으로 정렬함으로써 약 2픽셀의 RMS 디스파리티 정확도와 약 2mm의 깊이 정확도를 달성한다. 이는 난이도 높은 조직 특성과 깊이 변화를 포함한 복잡한 환경에서의 최소 침습 수술용 스테레오 알고리즘에 대한 현실적인 기준을 제공한다.

ABSTRACT

In computer vision, reference datasets have been highly successful in promoting algorithmic development in stereo reconstruction. Surgical scenes gives rise to specific problems, including the lack of clear corner features, highly specular surfaces and the presence of blood and smoke. Publicly available datasets have been produced using CT and either phantom images or biological tissue samples covering a relatively small region of the endoscope field-of-view. We present a stereo-endoscopic reconstruction validation dataset based on CT (SERV-CT). Two {\it ex vivo} small porcine full torso cadavers were placed within the view of the endoscope with both the endoscope and target anatomy visible in the CT scan. Orientation of the endoscope was manually aligned to the stereoscopic view. Reference disparities and occlusions were calculated for 8 stereo pairs from each sample. For the second sample an RGB surface was acquired to aid alignment of smooth, featureless surfaces. Repeated manual alignments showed an RMS disparity accuracy of ~2 pixels and a depth accuracy of ~2mm. The reference dataset includes endoscope image pairs with corresponding calibration, disparities, depths and occlusions covering the majority of the endoscopic image and a range of tissue types. Smooth specular surfaces and images with significant variation of depth are included. We assessed the performance of various stereo algorithms from online available repositories. There is a significant variation between algorithms, highlighting some of the challenges of surgical endoscopic images. The SERV-CT dataset provides an easy to use stereoscopic validation for surgical applications with smooth reference disparities and depths with coverage over the majority of the endoscopic images. This complements existing resources well and we hope will aid the development of surgical endoscopic anatomical reconstruction algorithms.

연구 동기 및 목표

• 최소 침습 수술에서 내시경 3D 재구성에 대한 고해상도, 공개 가능한 스테레오 검증 데이터셋의 부족 문제를 해결하기 위해.
• CT 스캔을 활용해 정확한 디스파리티와 깊이를 갖춘 기준 데이터셋을 개발하여 실제 수술 내시경 장면을 시뮬레이션하기 위해.
• 반사면, 가림막, 깊이 변화 등 임상적으로 관련 있는 조건에서 스테레오 재구성 알고리즘의 재현 가능한 평가를 가능하게 하기 위해.
• 출혈,smoke, 낮은 무늬 등 수술 영상 과제를 수반하는 상황에서 스테레오 알고리즘 평가를 위한 표준화된 벤치마크를 제공하기 위해.
• 로봇 수술 및 증강현실 응용 분야에 특화된 강력한 3D 재구성 및 수술 안내 시스템 개발을 지원하기 위해.

제안 방법

• 내시경과 해부학적 구조물이 명확히 보이는 고등포 사체의 스테레오 내시경 영상 쌍과 해당하는 CT 스캔 확보.
• CT 영상 내 내시경의 위치 및 방향이 사전에 알려진 조건을 기반으로 내시경 시각을 CT 기반 3차원 기하학에 수동으로 정렬.
• OpenGL 기반 렲영을 활용해 정렬된 3차원 모델에서 깊이 맵을 계산하고, 이를 바탕으로 디스파리티 맵 유도.
• 내시경 영상의 대부분 시야를 커버하는 기준 디스파리티, 깊이, 가림막 맵 생성.
• 무늬가 없는 반사면 영역의 정확한 정렬을 향상시키기 위해 RGB 표면 스캔 통합.
• 재현 가능성을 확보하기 위해 다수의 오픈소스 스테레오 알고리즘을 활용해 데이터셋 검증 및 전체 파rameter 및 모델 가중치 공유.

실험 결과

연구 질문

• RQ1 CT 기반 방법이 고등포 수술 장면의 내시경 스테레오 재구성에 대해 신뢰할 수 있고 고정밀도의 디스파리티 및 깊이 맵을 생성할 수 있는가?
• RQ2 내시경 시각을 CT 기하학에 수동으로 정렬하는 것이 디스파리티 및 깊이 추정 정확도에 어떤 영향을 미치는가?
• RQ3 현존하는 최고 수준의 스테레오 알고리즘이 반사면, 낮은 무늬 등 실제 수술 과제를 포함한 데이터셋에서 얼마나 잘 작동하는가?
• RQ4 SERV-CT가 최소 침습 수술에서 스테레오 재구성 알고리즘 평가 및 비교에 강력한 벤치마크로 기능할 수 있는가?
• RQ5 현저한 깊이 변화와 가림막이 있는 내시경 영상에 적용했을 때 현재의 스테레오 알고리즘의 한계는 무엇인가?

주요 결과

• 수동 정렬 과정에서 약 2픽셀의 RMS 디스파리티 정확도와 약 2mm의 깊이 정확도를 달성하여 높은 정밀도를 입증하였다.
• 각 고등포 샘플당 8개의 스테레오 영상 쌍을 포함하며, 매끄럽고 반사성이 강한 표면을 포함한 다양한 조직 유형과 뚜렷한 깊이 변화를 커버한다.
• 성능 평가 결과, 스테레오 알고리즘 간 성능 격차가 뚜렷하게 나타나 내시경 수술 재구성의 난이도를 반영한다.
• 실외 환경에서의 실용적 성능이 뛰어난 최고 수준 알고리즘이 수술 적용 분야에서 잠재적인 성공 가능성을 보이며, 이는 이식 가능성의 가능성을 시사한다.
• 캘리브레이션, 디스파리티, 깊이, 가림막 맵를 포함한 데이터셋 전반을 공개하여 재현 가능한 벤치마크가 가능하다.
• da Vinci 내시경의 낮은 해상도 및 색상 불균형 등의 한계가 존재하지만, 학습 및 검증을 위한 유의미한 기준을 제공한다.