[논문 리뷰] LAKe-Net: Topology-Aware Point Cloud Completion by Localizing Aligned Keypoints

Junshu Tang, Zhijun Gong외 3명|arXiv (Cornell University)|2022. 03. 31.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

LAKe-Net는 국소화된 정렬 키포인트와 표면-스켈레톤 생성을 통해 위상 구조를 유지하는 토폴로지 인식 포인트 클러스터 복구 프레임워크를 제안한다. 비대칭 키포인트 로케이터, 표면-스켈레톤 생성, 그리고 재귀적 스텝-보조 정밀화를 활용한 키포인트-스켈레톤-형태 예측 파이프라인을 도입함으로써 PCN 및 ShapeNet 벤치마크에서 상대적으로 높은 mIoU와 EMD 성능 향상을 이룩하여 기존 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Point cloud completion aims at completing geometric and topological shapes from a partial observation. However, some topology of the original shape is missing, existing methods directly predict the location of complete points, without predicting structured and topological information of the complete shape, which leads to inferior performance. To better tackle the missing topology part, we propose LAKe-Net, a novel topology-aware point cloud completion model by localizing aligned keypoints, with a novel Keypoints-Skeleton-Shape prediction manner. Specifically, our method completes missing topology using three steps: 1) Aligned Keypoint Localization. An asymmetric keypoint locator, including an unsupervised multi-scale keypoint detector and a complete keypoint generator, is proposed for localizing aligned keypoints from complete and partial point clouds. We theoretically prove that the detector can capture aligned keypoints for objects within a sub-category. 2) Surface-skeleton Generation. A new type of skeleton, named Surface-skeleton, is generated from keypoints based on geometric priors to fully represent the topological information captured from keypoints and better recover the local details. 3) Shape Refinement. We design a refinement subnet where multi-scale surface-skeletons are fed into each recursive skeleton-assisted refinement module to assist the completion process. Experimental results show that our method achieves the state-of-the-art performance on point cloud completion.

연구 동기 및 목표

• 직접적인 점 위치 예측 방식으로 인해 결손된 위상적 구조를 복구하지 못하는 기존 포인트 클러스터 복구 방법의 한계를 해결하기 위해.
• 키포인트와 스켈레톤과 같은 구조적 표현을 통해 기하학적 위상 구조를 명시적으로 모델링하여 복구 품질을 향상시키기 위해.
• 대규모 3D 데이터에서 고밀도 애너테이션을 요구하지 않고도 정렬 키포인트를 국소화할 수 있는 약한 감독 기반 접근법을 개발하기 위해.
• 다중 척도 표면-스켈레톤을 구조적 사전 지식으로 통합하여 형태 정밀화 성능을 향상시키기 위해.
• 최소한의 감독으로 다양한 3D 카테고리에 걸쳐 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 비대칭 키포인트 로케이터를 도입하여, 비지도 다중 척도 키포인트 검출기(UMKD)와 완전한 키포인트 생성기(CKG)를 조합하여 부분적 및 완전한 포인트 클러스터 상의 정렬 키포인트를 국소화한다.
• 정렬 키포인트는 카테고리 내 객체 간에 순서 일관성이 유지되며, 이는 키포인트 예측에 대해 안정적이고 의미적으로 유의미한 감독을 가능하게 한다.
• 기하학적 사전 지식을 기반으로 키포인트에서 새로운 표면-스켈레톤을 생성하며, 곡선과 삼각형 면을 융합하여 복잡한 위상적 세부 정보를 표현한다.
• 다중 척도 표면-스켈레톤은 접기 기반 정밀화 서브넷에 입력되며, 재귀적 스텝-보조 정밀화 모듈(RSR)을 통해 점진적으로 복구 결과를 정밀화한다.
• 이 방법은 이중 단계 학습 프로세스를 사용한다: 첫 번째 단계에서는 오토인코더를 통해 거친 형태를 복구하고, 두 번째 단계에서는 키포인트 및 스켈레톤 감독을 통해 이를 정밀화한다.
• UMKD에서 카테고리별 오프셋 예측기(csop)를 사용하여 다양한 3D 카테고리 간의 키포인트 검출 성능을 향상시키며, 예측된 키포인트의 집합을 방지한다.

Figure 1 : Illustration of (a) visual comparison results of current completion methods, (b) completion process of our LAKe-Net, and (c) aligned keypoints. Compared with GRNet [ 34 ] , PMP-Net [ 29 ] , PoinTr [ 40 ] and Snowflake [ 32 ] , LAKe-Net can effectively recover missing topology part (see Re

실험 결과

연구 질문

• RQ1 고밀도 애너테이션 없이도 약한 감독 기반 접근법을 통해 부분적 포인트 클러스터에서 정렬 키포인트를 신뢰성 있게 국소화할 수 있는가?
• RQ2 표면-스켈레톤과 같은 구조적 위상 표현은 직접적인 점 예측을 넘어서 포인트 클러스터 복구 성능을 어떻게 향상시킬 수 있는가?
• RQ3 다중 척도 표면-스켈레톤은 복구 작업에서 국소 기하학적 세부 정보 복원에 얼마나 기여하는가?
• RQ4 제안된 키포인트-스켈레톤-형태 파이프라인은 종래의 엔드 투 엔드 점 예측 방식에 비해 위상 정확도와 복구 품질 측면에서 어떻게 비교되는가?
• RQ5 실세계 상황에서 키포인트 검출 오류와 형태 오분류에 대해 이 방법은 얼마나 강건한가?

주요 결과

• LAKe-Net는 PCN 데이터셋에서 최신 기술 성능을 달성하였으며, Vessel 카테고리에서 평균 EMD 0.958과 mIoU 74.0을 기록하여 기존 방법들을 능가한다.
• 절단 실험 결과, 완전한 키포인트를 FPS 다운샘플링된 점으로 대체할 경우 성능이 크게 떨어지며(EMD: 1.963 vs. 1.557), 이는 구조적 키포인트 표현의 필수성을 입증한다.
• 표면-스켈레톤을 제거할 경우 EMD가 2.251로 증가하여, 세밀한 위상 복원에 표면-스켈레톤이 핵심적임을 입증한다.
• 카테고리별 오프셋 예측기(csop)는 단일 불변 예측기 대비 카테고리 간 mIoU를 10~20점 향상시켜, 다중 카테고리 일반화에서의 효과성을 입증한다.
• 5% 키포인트 교란과 형태 오분류 조건에서도 메서드는 안정성을 유지하며, EMD는 다소 증가할 뿐이지(예: 1.700 vs. 1.557), 이는 실세계 노이즈 상황에서도 안정적임을 시사한다.
• 시각화 결과, LAKe-Net는 기준 모델 대비 더 두드러지고 의미적으로 유의미한 키포인트를 탐지함을 확인하였으며, 특히 접합부 및 구조적 부분에서 뚜렷한 성능 향상을 보였다.

Figure 2 : The overall architecture of LAKe-Net, which consists of two parts including Point Cloud Reconstruction ( Blue ) and Point cloud Completion ( Red ). We show the detailed structure of (a) Auto-encoder $E$ , (b) Complete Keypoint Generator $G$ and (c) Recursive Skeleton-assisted Refinement m