[논문 리뷰] Stereo Correspondence and Reconstruction of Endoscopic Data Challenge

Max Allan, A. Jonathan McLeod외 22명|arXiv (Cornell University)|2021. 01. 04.

Advanced Vision and Imaging참고 문헌 21인용 수 24

한 줄 요약

이 논문은 MICCAI 2019에서 실시한 스테레오 대응 및 내 endoscopic 데이터 재구성 도전대회(Stereo Correspondence and Reconstruction of Endoscopic Data, SCARED)를 소개하며, 돼지 시신에서 구조화된 빛을 투사한 내 endoscopic 영상의 고품질 데이터셋을 제공하여 밀도 높은 깊이 추정을 수행한다. 도전대회 기간 동안 10개 팀이 방법을 제출하였으며, 최상위 성능을 보인 방법은 테스트 데이터셋 2에서 평균 절대 오차 1.10 mm를 기록하였다. 추가 분석을 통해 데이터셋 내 校정 오차, 운동학-비디오 비동기화, 참조 깊이-RGB 이미지 오해열 등의 문제를 발견하였으며, 이는 정확도에 영향을 미쳤다.

ABSTRACT

The stereo correspondence and reconstruction of endoscopic data sub-challenge was organized during the Endovis challenge at MICCAI 2019 in Shenzhen, China. The task was to perform dense depth estimation using 7 training datasets and 2 test sets of structured light data captured using porcine cadavers. These were provided by a team at Intuitive Surgical. 10 teams participated in the challenge day. This paper contains 3 additional methods which were submitted after the challenge finished as well as a supplemental section from these teams on issues they found with the dataset.

연구 동기 및 목표

• 수술 컴퓨터 비전 분야에서 내 endoscopic 깊이 추정을 위한 고품질 실생활 데이터셋의 부족 문제를 해결하기 위해.
• 구조화된 빛을 활용한 내 endoscopic 영상에서의 스테레오 대응 및 밀도 높은 재구성 방법의 벤치마킹을 가능하게 하기 위해.
• 임상 환경에 유사한 조건에서 촬영된 실제 수술 내 endoscopic 데이터를 기반으로 최신 깊이 추정 기법의 성능을 평가하기 위해.
• 데이터 품질 문제, 예를 들어 校정 오차, 운동학-비디오 비동기화, 참조 깊이-RGB 오해열 등을 규명하고 기록하기 위해.

제안 방법

• da Vinci Xi 수술 로봇을 사용하여 스테레오 내 endoscope와 pico-projector를 활용해 돼지 시신 조직에 10비트 그레이 코드 패턴을 투사하여 데이터셋을 수집하였다.
• 구조화된 빛 패턴이 포함된 키프레임을 촬영하고, 투사기 및 카메라의 기하학적 정보를 이용해 삼각측량을 통해 3차원 점군을 재구성하였다.
• 각 픽셀의 위치를 고유한 그레이 코드 패턴으로 인코딩하여 서브픽셀 정밀도의 스테레오 대응 및 깊이 계산을 가능하게 하였다.
• 다음 프레임는 로봇의 관절 위치에서의 전진 운동학을 사용해 비키프레임의 깊이를 추정하였다.
• 로봇 운동학에 의존도를 줄이기 위해 SIFT 특징 매칭과 PnP(Perspective-n-Point)를 활용한 카메라 자세 추정 및 점군 재투영을 위한 보조 파이프라인을 제안하였다.
• 도전대회는 두 개의 테스트 데이터셋에서 평균 절대 깊이 오차를 기준으로 방법을 평가하였으며, 구조화된 빛 투사 기반 참조 깊이 데이터와의 정합성을 검증하였다.

실험 결과

연구 질문

• RQ1 실제로 구조화된 빛 기반 내 endoscopic 데이터셋을 활용한 스테레오 대응 및 재구성 방법의 성능은 어떠한가?
• RQ2 데이터셋 내 校정 오차와 운동학-비디오 동기화 오류는 깊이 추정 성능에 어떤 영향을 미치는가?
• RQ3 로봇 전진 운동학에 의존하는 것과 비교해 시각적 특징 기반 자세 추정 기법이 깊이 재구성 정확도를 향상시킬 수 있는가?
• RQ4 참조 깊이-RGB 오해열과 디스parity 오프셋은 내 endoscopic 데이터의 깊이 추정에 얼마나 심각한 영향을 미치는가?

주요 결과

• 최상위 성능을 보인 방법은 테스트 데이터셋 2에서 평균 절대 깊이 오차 1.10 mm를 기록하였으며, 최종 우승자는 Rediminds Inc.의 Trevor Zeffiro였다.
• 두 번째로 높은 성능을 기록한 방법은 Fraunhofer HHI의 Jean-Claude Rosenthal 등이 제출하였으며, 테스트 데이터셋 2에서 평균 절대 오차 1.69 mm를 기록하였다.
• 데이터셋 4와 5에서 심각한 校정 오차가 발견되어, 기준 행렬 보정 후에도 정렬된 스테레오 쌍 내 대응 특징이 잘못 정렬되어 있었다.
• 비디오와 로봇 운동학 간에 비동기화가 존재하여 RGB 비디오가 참조 깊이 데이터보다 몇 프레임 뒤처져 있었다.
• 데이터셋 8과 9에서 참조 깊이 맵이 해당 RGB 이미지와 오해열되어 있었으며, 스캔라인과 디스파리티 오프셋이 발생하여 모델 성능이 저하되었다.
• SIFT와 PnP 기반 자세 추정을 활용한 보조 방법은 로봇 운동학에 대한 의존도를 감소시키고, 프레임 간 깊이 맵의 일관성을 향상시켰다.