[논문 리뷰] SuPerPM: A Surgical Perception Framework Based on Deep Point Matching Learned from Physical Constrained Simulation Data

Shan Lin, Albert J. Miao외 6명|arXiv (Cornell University)|2023. 09. 25.

3D Shape Modeling and AnalysisEngineering인용 수 3

한 줄 요약

SuPerPM는 전통적인 ICP 기반 데이터 연관 방식을 보완하기 위해 미세조정된 포인트 클라우드 매칭 모델로 대체함으로써 큰 변형 하에서 조직 추적 성능을 향상시키는 딥러닝 기반 수술 인식 프레임워크를 제안한다. 위치 기반 역학을 사용하여 물리적으로 제약된 시뮬레이션 데이터를 기반으로 훈련한 SuPerPM는 최신 기술 대비 뛰어난 추적 정확도와 조밀한 재구성 성능를 달성하며, 특히 극도로 변형된 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

A major source of endoscopic tissue tracking errors during deformations stems from wrong data association between observed sensor measurements with previously tracked scene. To mitigate this issue, we present a surgical perception framework, SuPerPM, that leverages learning-based non-rigid point cloud matching for data association, thus accommodating larger deformations than previous approaches which relied on Iterative Closest Point (ICP) for point associations. The learning models typically require training data with ground truth point cloud correspondences, which is challenging or even impractical to collect in surgical environments. Thus, for tuning the learning model, we gather endoscopic data of soft tissue being manipulated by a surgical robot and then establish correspondences between point clouds at different time points to serve as ground truth. This was achieved by employing a position-based dynamics (PBD) simulation to ensure that the correspondences adhered to physical constraints. The proposed framework is demonstrated on several challenging surgical datasets that are characterized by large deformations, achieving superior performance over advanced surgical scene tracking algorithms.

연구 동기 및 목표

• 큰 조직 변형 하에서 수술 영상 추적의 정확한 데이터 연관 문제를 해결하기 위해.
• 학습 기반 포인트 클라우드 매칭 모델 훈련을 위한 실제 수술 데이터에서의 조밀하고 정확한 진짜 대응 관계의 부족 문제를 해결하기 위해.
• 딥러닝을 활용하여 내시경 수술 영상에서 비탄성 조직 추적의 견고성과 정확도를 향상시키기 위해.
• 물리적으로 제약된 현실적인 포인트 클라우드 쌍을 생성하는 시뮬레이션 기반 파ipeline을 개발하기 위해.
• 시뮬레이션 데이터 기반 미세조정이 실제 수술 데이터셋에서의 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• SuPer 수술 인식 프레임워크에 학습 기반의 비탄성 포인트 클라우드 매칭 모델(Lepard)을 통합하여 ICP 기반 데이터 연관을 대체한다.
• 위치 기반 역학(PBD) 시뮬레이션을 사용하여 합리적인 물리적 변형을 갖는 합성 데이터를 생성하고, 변형된 포인트 클라우드 쌍 간의 진짜 대응 관계를 설정한다.
• PBD 시뮬레이션으로 생성된 합성 포인트 클라우드 쌍을 기반으로 사전 훈련된 Lepard 모델을 미세조정하여 실제 수술 변형 특성에 맞춘다.
• 이중 단계 최적화를 적용한다: 첫 번째로, 미세조정된 Lepard 모델이 대응 관계를 예측하고, 두 번째로 SuPer 프레임워크는 이를 바탕으로 강체 및 비탄성 변환을 추정한다.
• 학습된 대응 관계를 활용하여 추적 및 재구성 정확도를 향상시키는 가역적(Icp 기반) 비용 함수를 적용한다.
• 출판과 동시에 데이터셋과 코드를 공개하여 재현 가능성과 향후 연구 지원을 위해 노력한다.

실험 결과

연구 질문

• RQ1 물리적 시뮬레이션 데이터로 훈련된 학습 기반 포인트 클라우드 매칭 모델이 큰 변형 하에서 수술 영상 추적의 데이터 연관 견고성 향상에 기여하는가?
• RQ2 시뮬레이션으로 생성된 데이터에 사전 훈련된 포인트 클라우드 매칭 모델을 미세조정하면 실제 수술 내시경 영상에서의 추적 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 시뮬레이션 기반 데이터 생성 파이프라인은 실제 수술 조직 변형에 일반화되는 정도가 어느 정도인가?
• RQ4 큰 변형 하에서 SuPerPM는 DefSLAM 및 SD-DefSLAM과 같은 최신 기술 대비 추적 정확도와 재구성 품질 측면에서 어떻게 비교되는가?
• RQ5 인식 프레임워크 내에서 대응 관계 모델을 엔드 투 엔드로 훈련시키는 것이 성능 향상에 더 큰 기여를 하는가?

주요 결과

• SuPerPM는 기존 SuPer 대비 재투영 오차를 크게 감소시켜 추적 정확도 향상을 입증한다.
• 모든 테스트 시퀀스에서 사전 훈련된 모델 대비 미세조정된 Lepard 모델이 일관되게 낮은 재투영 오차를 기록하며, 특히 SupDef-T2 및 SupDef-T3와 같은 극도로 변형된 시나리오에서 뚜렷한 성능 향상을 보였다.
• SuPerPM는 모든 시퀀스에서 SD-DefSLAM를 초월했으며, 희박하고 강건한 특징만을 사용하는 DefSLAM와 비교해도 성능을 유지하거나 능가했다.
• 질적 비교를 통해 미세조정된 Lepard 모델이 사전 훈련된 모델 대비 더 조밀하고 일관성 있는 포인트 대응 관계를 생성하는 것으로 확인되었다.
• 시뮬레이션 기반 데이터 생성 파이프라인은 실제 수술 데이터로의 일반화를 향상시키는 현실적이고 물리적으로 제약된 대응 관계를 성공적으로 생성했다.
• 다른 한편으로는, 미세조정된 모델이 여전히 일부 노이즈 있는 매칭을 생성하는 것으로 나타나 기하학적 또는 물리적 이상치 제거 기법을 추가로 적용해 개선 여지가 있음을 시사한다.