[논문 리뷰] CoFiNet: Reliable Coarse-to-fine Correspondences for Robust Point Cloud Registration

Hao Yu, Lin Fu외 3명|arXiv (Cornell University)|2021. 10. 26.

3D Shape Modeling and Analysis참고 문헌 49인용 수 95

한 줄 요약

CoFiNet은 재발견 가능한 키포인트 검출 없이도 계층적 대응을 학습하는 거친-정교한 탐지 프레임워크를 제안하여 강건한 3D 포인트 클라우드 정합을 달성하고, 파라미터 수가 적은 상태에서 최첨단 성능을 능가하며 특히 낮은 중첩 시나리오에서 우수합니다.

ABSTRACT

We study the problem of extracting correspondences between a pair of point clouds for registration. For correspondence retrieval, existing works benefit from matching sparse keypoints detected from dense points but usually struggle to guarantee their repeatability. To address this issue, we present CoFiNet - Coarse-to-Fine Network which extracts hierarchical correspondences from coarse to fine without keypoint detection. On a coarse scale and guided by a weighting scheme, our model firstly learns to match down-sampled nodes whose vicinity points share more overlap, which significantly shrinks the search space of a consecutive stage. On a finer scale, node proposals are consecutively expanded to patches that consist of groups of points together with associated descriptors. Point correspondences are then refined from the overlap areas of corresponding patches, by a density-adaptive matching module capable to deal with varying point density. Extensive evaluation of CoFiNet on both indoor and outdoor standard benchmarks shows our superiority over existing methods. Especially on 3DLoMatch where point clouds share less overlap, CoFiNet significantly outperforms state-of-the-art approaches by at least 5% on Registration Recall, with at most two-third of their parameters.

연구 동기 및 목표

• 반복 가능한 키포인트 검출에 의존하지 않고 강건한 포인트 클라우드 정합을 동기화한다.
• 정교화를 위한 탐색 공간을 축소하기 위해 거친-정교한 대응 프레임워크를 도입한다.
• 포인트 수준 대응을 생성하기 위해 밀도 인식 가능하고 미분 가능한 정제 모듈을 개발한다.
• -overlap가 있는 경우에 대한 안내를 통해 거친 규모의 노드 매칭이 재현성과 강건성을 향상시킴을 보인다.
• 실내 및 실외 벤치마크에서 더 적은 파라미터로 우수한 성능을 보여준다.

제안 방법

• 공유 KPConv 인코더를 갖춘 균일하게 분포된 노드로 Dense 포인트 클라우드를 다운샘플링하고 공동 노드 특징을 학습한다.
• 다운샘플링된 노드 간의 거친 유사도 행렬을 생성하고 Sinkhorn 최적화를 슬랙 항목과 함께 적용하여 거친 노드 대응을 얻는 Self-, Cross-, Self-attention으로 구성된 Correspondence Proposal Block을 사용한다.
• 강화된 특징을 밀집 포인트 디스크립터로 디코딩하여 정제를 수행한다.
• 거친 노드 제안을 포인트-노드 그룹핑을 통해 패치로 확장하고 밀도 적응 매칭 모듈을 적용하여 패치 내에서 차별 가능한 최적전송 문제를 해결함으로써 대응을 정제한다.
• 공동 거칠기-정밀도 손실을 계산: L = Lc + λLf로, 거친 중첩 가중치에 대해 특수한 감독과 정밀 밀도 인식 보정을 가진다.

실험 결과

연구 질문

• RQ1 거친-정교한 탐지-free 파이프라인이 정합을 위한 3D 포인트 대응의 재현성과 강건성을 향상시킬 수 있는가?
• RQ2 겹침 기반의 거친 매칭이 탐색 공간을 줄이고 정확도를 희생하지 않으면서 효율성을 향상시키는가?
• RQ3 밀도 인식 정제 모듈이 다양한 포인트 밀도에서 신뢰할 수 있는 포인트 수준 대응을 제공하는가?
• RQ4 실내(3DMatch, 3DLoMatch) 및 실외(KITTI) 벤치마크에서 특히 낮은 중첩 상황에서 CoFiNet은 최첨단 방법과 어떻게 대등하거나 우수한가?
• RQ5 적은 수의 대응으로도 매개변수 효율성과 에이블레이션에 대한 통찰은 어떠한가?

주요 결과

• CoFiNet은 실내 및 실외 벤치마크에서 Registration Recall 및 Feature Matching Recall이 우수하며, 특히 중첩이 제한된 3DLoMatch에서 두드러진다.
• 대응이 적은 파라미터 수로도 경쟁 방법 대비 강력한 성능을 제공한다.
• CoFiNet은 더 적은 대응으로도 높은 Inlier Ratios를 얻어 신뢰 점수의 보정이 잘 이루어짐을 나타낸다.
• 밀도 인식 정제 모듈은 패치 내 다양한 포인트 밀도를 견고하게 처리하여 포인트 수준 대응 정확도를 향상시킨다.
• 거친 중첩 가중치 메커니즘은 정제 탐색 공간을 효과적으로 축소하고 낮은 중첩 시나리오에서 강건성을 높인다.