[논문 리뷰] 3D endoscopic depth estimation using 3D surface-aware constraints

Shang Zhao, Ce Wang외 3명|arXiv (Cornell University)|2022. 03. 04.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 카메라 파라미터에서 유도된 3D 기하 구속 조건을 활용하여 깊이 정확도와 수렴성을 향상시키기 위해 내시경 깊이 추정을 위한 새로운 3D 표면 인식 손실(Oriented Point loss)을 제안한다. 특이성 제거 모듈과 표면 인식 감독을 통합함으로써, SCARED 및 Hamlyn 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기준 방법 대비 MAE를 48.62mm 감소시키고 RMSE를 43.46mm 감소시켰다.

ABSTRACT

Robotic-assisted surgery allows surgeons to conduct precise surgical operations with stereo vision and flexible motor control. However, the lack of 3D spatial perception limits situational awareness during procedures and hinders mastering surgical skills in the narrow abdominal space. Depth estimation, as a representative perception task, is typically defined as an image reconstruction problem. In this work, we show that depth estimation can be reformed from a 3D surface perspective. We propose a loss function for depth estimation that integrates the surface-aware constraints, leading to a faster and better convergence with the valid information from spatial information. In addition, camera parameters are incorporated into the training pipeline to increase the control and transparency of the depth estimation. We also integrate a specularity removal module to recover more buried image information. Quantitative experimental results on endoscopic datasets and user studies with medical professionals demonstrate the effectiveness of our method.

연구 동기 및 목표

• 로봇 보조 내시경 수술에서 3D 공간 인식의 부족으로 인한 상황 인식 향상 및 수술 정밀도 향상을 해결하기 위해.
• 2D 픽셀 수준의 감독을 넘어서 3D 기하 구속 조건을 활용하여 내시경 영상의 깊이 추정을 향상시키기 위해.
• 전용 특이성 제거 모듈을 통해 반사광 영역에 묻힌 무늬 정보를 복원하기 위해.
• 카메라 파라미터와 표면 인식 기하 사전 지식을 손실 함수에 통합하여 학습 안정성과 수렴성을 향상시키기 위해.
• 경험 많은 외과의사와의 사용자 연구를 통해 방법의 임상적 관련성을 검증하기 위해.

제안 방법

• 3D 표면 특성을 후방 투영된 깊이 픽셀과 카메라 파라미터를 사용하여 3D 방향 점을 형성하는 Oriented Point(OP) 손실을 도입한다.
• OP 손실은 경계 정확도를 위한 점 간 거리와 국소 표면의 매끄러움을 위한 법선 유사도의 두 구성 요소로 이루어진다.
• 학습 파이프라인에 카메라 파라미터를 통합하여 명시적 기하 제어를 가능하게 하고 깊이 추정의 투명성을 향상시킨다.
• 삽입형 특이성 제거 모듈을 활용하여 반사 영역의 무늬 특징을 복원함으로써 스테레오 매칭을 위한 특징 추출을 향상시킨다.
• 모듈러 파이프라인을 사용: 특이성 제거 → CNN 특징 추출 → 스테레오 매칭 → OP 손실 감독을 통한 깊이 예측.
• 내재 및 외재 카메라 파라미터를 사용하여 깊이 픽셀을 후방 투영하여 손실 계산을 위한 3D 표면 점을 계산한다.

실험 결과

연구 질문

• RQ1 3D 표면 인식 기하 구속 조건이 내시경 영상의 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 학습 파이프라인에 카메라 파라미터를 통합할 경우 깊이 추정의 투명성과 제어성에 어떤 영향을 미치는가?
• RQ3 내시경 영상에서 반사성이 높은 영역에서 특이성 제거가 깊이 추정 정확도에 어느 정도 기여하는가?
• RQ4 제안된 Oriented Point 손실은 기존 2D 이미지 영역 손실에 비해 더 빠른 수렴과 더 나은 일반화 성능을 보이는가?
• RQ5 임상 환경에서 모델의 깊이 예측 결과는 진정한 값과 인간의 인지와 비교해 어떻게 평가되는가?

주요 결과

• 제안된 OP 손실은 전체 SCARED 테스트 세트에서 기준 방법 대비 MAE를 48.62mm 감소시키고 RMSE를 43.46mm 감소시켜 슈퍼리어한 성능을 달성했다.
• SCARED 데이터셋의 핵심 프레임 3에서, 특이성 제거 기능이 없는 기준 방법 대비 OP 손실을 적용한 모델은 MAE가 6.16mm 낮고 RMSE가 4.44mm 낮았다.
• 사용자 연구 결과, 외과의사들은 제안된 방법의 깊이 예측 결과가 RGB 영상과 더 높은 공간 상관성을 가지며(평균 점수 3.7 vs. 3.0), 더 나은 3D 시각 품질을 제공한다고 평가했다.
• 특이성 제거 모듈은 전체 SCARED 테스트 세트에서 MAE를 3.79mm, RMSE를 1.05mm 향상시켜 그 효과를 입증했다.
• 점 간 거리와 법선 유사도 구성 요소를 모두 포함한 OP 손실이 RMSE에서 가장 우수한 성능을 보였으며, 개별 구성 요소보다 우수함을 확인하여 상호 보완적 기여가 있음을 입증했다.
• 정성적 결과에서 OP 손실은 기준 모델이 놓친 미세한 표면 세부 정보, 예를 들어 곡선 경계를 회복함을 확인할 수 있었다. 이는 일부 경우에서 진정한 값조차도 부분적으로 누락되어 있는 현상과 대비된다.