[논문 리뷰] LRF-Net: Learning Local Reference Frames for 3D Local Shape Description and Matching

Angfan Zhu, Jiaqi Yang외 2명|arXiv (Cornell University)|2020. 01. 22.

3D Shape Modeling and Analysis참고 문헌 20인용 수 4

한 줄 요약

LRF-Net는 약한 지도 학습을 기반으로 시아모이즈 네트워크를 사용하여 3D 포인트 클라우드의 국소 기준 프레임(LRFs)을 학습하는 딥러닝 접근법을 제안한다. 이는 이웃 포인트에 학습된 가중치를 부여하여 LRF의 반복성과 강건성을 향상시킨다. 이는 세 가지 공개 데이터셋에서 최신 기술을 초월하며 국소 형태 기술 및 6-DoF 자세 추정 성능을 크게 향상시킨다.

ABSTRACT

The local reference frame (LRF) acts as a critical role in 3D local shape description and matching. However, most of existing LRFs are hand-crafted and suffer from limited repeatability and robustness. This paper presents the first attempt to learn an LRF via a Siamese network that needs weak supervision only. In particular, we argue that each neighboring point in the local surface gives a unique contribution to LRF construction and measure such contributions via learned weights. Extensive analysis and comparative experiments on three public datasets addressing different application scenarios have demonstrated that LRF-Net is more repeatable and robust than several state-of-the-art LRF methods (LRF-Net is only trained on one dataset). In addition, LRF-Net can significantly boost the local shape description and 6-DoF pose estimation performance when matching 3D point clouds.

연구 동기 및 목표

• 수작업으로 설계된 LRF의 한계를 해결하기 위해, 노이즈, 혼잡함, 가림 등 상황에서 낮은 반복성과 강건성을 보이는 문제를 해결한다.
• 지상 진술 LRF나 자세 애너테이션 없이, 국소 패치 간의 대응 관계만을 요구하는 약한 지도 학습 방식으로 LRF를 학습한다.
• 학습 가능한 가중치를 통해 각 이웃 포인트의 LRF 구축에 기여도를 고유하게 모델링하여 안정성과 불변성을 향상시킨다.
• 더 나은 신뢰성 있는 LRF를 제공함으로써 국소 형태 기술 및 6-DoF 자세 추정과 같은 후속 작업의 성능을 향상시킨다.

제안 방법

• LRF-Net은 대응 관계 기반 약한 지도 학습을 통해 국소 포인트 클라우드 패치에서 LRF를 학습하는 시아모이즈 네트워크 아키텍처를 사용한다.
• LRF의 z축은 키포인트의 법선 벡터로 설정되어 회전 불변성과 안정성을 확보한다.
• x축을 위해 네트워크는 이웃 포인트들로부터 회전 불변 기하 특성(각도 및 거리)을 계산하고, 다층 퍼셉트론(MLP)을 통해 각 포인트별로 예측된 가중치를 사용한다.
• x축은 학습된 가중치를 사용한 투영 벡터의 가중합으로 계산되며, y축은 z축과의 외적 연산을 통해 유도된다.
• 원시 좌표가 아닌 불변 기하 특성을 활용함으로써 회전 불변성과 더 나은 일반화 성능을 확보한다.
• 지상 진술 LRF가 없는 상태에서 대응 패치 간의 대비 손실을 사용해 엔드 투 엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 지상 진술 LRF나 자세 애너테이션 없이도 딥러닝 모델이 수작업 LRF보다 더 높은 반복성과 강건성을 가지는 LRF를 학습할 수 있는가?
• RQ2 학습된 포인트별 가중치는 노이즈 및 가림 상황에서 히وري스틱 가중치 전략 대비 LRF 안정성 측면에서 어떻게 비교되는가?
• RQ3 원시 좌표 대신 회전 불변 기하 특성을 사용할 경우 LRF 추정의 강건성과 성능이 향상되는가?
• RQ4 LRF-Net은 SOTA LRF 방법 대비 국소 형태 기술 및 6-DoF 자세 추정과 같은 후속 작업에서 얼마나 향상되는가?

주요 결과

• LRF-Net (Normal + Sum1)은 BR, UWA3M, UWAOR 세 가지 벤치마크 데이터셋 전반에서 최고의 평균余弦유사도(MeanCos) 성능을 기록했다.
• BR 데이터셋에서 LRF-Net은 Normal + Sum1 설정으로 0.999의 MeanCos 성능을 기록하여 다른 방법들을 크게 앞섰다.
• 정렬에 대해 강력한 강건성을 보이며, 30°, 60°, 90°, 120°의 다양한 회전 각도에서도 안정적인 성능을 유지했으며, 특히 법선 벡터를 가이드로 사용할 경우 두드러진 성능을 보였다.
• 지원 반경이 증가함에 따라 LRF-Net은 안정적인 성능을 유지하지만, 다른 방법들은 성능 저하를 보여, 더 나은 통계적 일관성을 확보함을 시사한다.
• 시각화 결과에서 학습된 가중치가 항상 더 가까운 포인트에 높게 설정되는 것은 아니며, 이는 CA- 및 PSD 기반 LRF에서의 기존 가정에 도전한다.
• 벡터 합(Sum1)을 통한 학습된 가중치 통합 방식이 최대풀링 또는 거리 감소(DR) 전략 대비 뛰어난 성능을 기록했다.