[논문 리뷰] Extremely Dense Point Correspondences using a Learned Feature Descriptor

Xingtong Liu, Zheng Yi-ping외 5명|arXiv (Cornell University)|2020. 03. 02.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 5

한 줄 요약

이 논문은 질감이 부족한 내 endoscopic 영상에서 점 대응 추정을 크게 향상시키는 밀도형 특징 기술자 학습을 위한 새로운 순서 기반 손실을 갖춘 자기지도 학습 프레임워크를 제안한다. 큰 수신장과 강력한 학습 역학을 활용함으로써, 구조적에서 운동(Structure from Motion, SfM)을 통한 밀도 높은 3D 재구성에서 뛰어난 성능을 달성하며, 자체 데이터셋과 공개 데이터셋에서 국소 기술자와 이전의 밀도 기반 기술자들을 모두 능가한다. 특히, 예측되지 않은 환자와 내 endoscope 유형으로의 일반화 능력에서 두각을 나타낸다.

ABSTRACT

High-quality 3D reconstructions from endoscopy video play an important role in many clinical applications, including surgical navigation where they enable direct video-CT registration. While many methods exist for general multi-view 3D reconstruction, these methods often fail to deliver satisfactory performance on endoscopic video. Part of the reason is that local descriptors that establish pair-wise point correspondences, and thus drive reconstruction, struggle when confronted with the texture-scarce surface of anatomy. Learning-based dense descriptors usually have larger receptive fields enabling the encoding of global information, which can be used to disambiguate matches. In this work, we present an effective self-supervised training scheme and novel loss design for dense descriptor learning. In direct comparison to recent local and dense descriptors on an in-house sinus endoscopy dataset, we demonstrate that our proposed dense descriptor can generalize to unseen patients and scopes, thereby largely improving the performance of Structure from Motion (SfM) in terms of model density and completeness. We also evaluate our method on a public dense optical flow dataset and a small-scale SfM public dataset to further demonstrate the effectiveness and generality of our method. The source code is available at https://github.com/lppllppl920/DenseDescriptorLearning-Pytorch.

연구 동기 및 목표

• 질감이 부족한 해부학적 표면로 인해 내시경 영상에서 흩어져 있고 신뢰할 수 없는 점 대응 문제를 해결하기 위해.
• 특징 기술자 품질 향상으로 임상 내시경에서의 구조적에서 운동(SfM) 성능을 향상시키기 위해.
• 예측되지 않은 환자와 내 endoscope 유형으로도 잘 일반화되는 자기지도 학습 기반 학습 체계를 개발하기 위해.
• 저질감, 의료 영상 환경에서 밀도 기반 기술자와 국소 기술자의 효과성을 조사하기 위해.
• 기본 대비나 회귀 기반 손실에서 발생하는 모호성을 피하는 새로운 손실 함수를 설계하기 위해.

제안 방법

• 정확한 대응이 없는 상태에서, 합성 데이터와 기하 제약 조건을 활용해 자기지도 학습 체계를 제안하여 양성 및 음성 키포인트 쌍을 생성한다.
• 기존의 BCE나 Softargmax의 데이터 불균형 및 중심점 모호성 문제를 피하기 위해, 기술자 유사도의 정확한 상대적 순서를 장려하는 새로운 순서 기반(Ranking-based, RR) 손실을 도입한다.
• 큰 수신장을 갖춘 깊은 CNN 기반 네트워크를 사용해 전체 이미지에 걸쳐 밀도 높은 기술자를 예측하며, 맥락 정보를 포괄한다.
• 두 단계 매칭 전략을 사용한다: 첫째, 모든 픽셀 쌍 간의 기술자 유사도를 계산한다. 둘째, RANSAC를 통한 기하학적 검증을 적용해 이상치를 걸러낸다.
• 초기 학습에서 도출된 희박한 SfM 결과를 활용해 기술자 향상 과정을 부트스트래핑함으로써 일반화 능력을 향상시킨다.
• 기하 일관성과 순서 기반 감독을 조합하여 엔드 투 엔드로 모델을 학습시켜, 시점과 조명 변화에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 새로운 손실 함수를 갖춘 기계학습 기반 밀도 기술자가 저질감 내시경 환경에서 전통적인 국소 기술자보다 뛰어난 성능을 보일 수 있는가?
• RQ2 표준 대비 또는 회귀 기반 손실과 비교할 때, 제안된 순서 기반 손실은 기술자 구별성과 학습 안정성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 밀도 기반 기술자가 임상 SfM 파이프라인에서 예측되지 않은 환자와 내 endoscope 유형으로 얼마나 잘 일반화되는가?
• RQ4 합성 데이터를 활용한 자기지도 사전 학습이 실제 내시경 영상에서의 밀도 기술자 학습 성능을 향상시키는가?
• RQ5 기술자가 다른 작업, 예를 들어 옵티컬 플로우 추정으로 효과적으로 이식 가능한가? 이는 SfM 외부로의 일반화 능력을 보여준다.

주요 결과

• 제안된 밀도 기술자는 자체 설문지 기반 비강 내시경 데이터셋에서 SIFT, HardNet++, UCN 및 기타 최근 기술자들과 비교해 훨씬 높은 재구성 밀도와 완전성을 달성한다.
• 공개된 KITTI 옵티컬 플로우 데이터셋에서, 이 방법은 대응 정확도와 플로우 추정 품질 측면에서 최신 기술자들을 능가한다.
• 모델은 예측되지 않은 환자와 내 endoscope 유형으로도 효과적으로 일반화되며, 임상 환경에서 강력한 제로샷 전이 능력을 보여준다.
• 순서 기반(RR) 손실은 BCE와 Softargmax보다 학습 안정성과 최종 기술자 품질 측면에서 뛰어나며, 레이블의 모호성으로 인한 열악한 해법을 피한다.
• 합성 데이터를 활용한 자기지도 사전 학습은 실제 데이터에 제한된 레이블이 있을 경우에도 강건한 기술자를 학습하는 데 기여한다.
• 초기 학습에서 도출된 희박한 SfM 결과를 활용해 기술자를 부트스트래핑하면, 후속 반복에서 더 높은 밀도와 정확도의 재구성을 가능하게 한다.