[논문 리뷰] SNAKE: Shape-aware Neural 3D Keypoint Field

Zhong Cheng-liang, Peixing You외 7명|arXiv (Cornell University)|2022. 06. 03.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

SNAKE는 좌표 기반 신경 필드를 통해 형상 지표와 키포인트 중요도를 동시에 예측하는 새로운 비지도 3D 키포인트 검출 프레임워크를 제안한다. 이는 내재된 형상 인식 능력을 갖추게 하여 ModelNet40, KeypointNet, 3DMatch 등의 벤치마크에서 재현성, 의미 일관성, 저해상도 샘플링에 대한 강건성 측면에서 최신 기술을 초월한다. 특히 수동 supervision 없이도 성능을 높였다.

ABSTRACT

Detecting 3D keypoints from point clouds is important for shape reconstruction, while this work investigates the dual question: can shape reconstruction benefit 3D keypoint detection? Existing methods either seek salient features according to statistics of different orders or learn to predict keypoints that are invariant to transformation. Nevertheless, the idea of incorporating shape reconstruction into 3D keypoint detection is under-explored. We argue that this is restricted by former problem formulations. To this end, a novel unsupervised paradigm named SNAKE is proposed, which is short for shape-aware neural 3D keypoint field. Similar to recent coordinate-based radiance or distance field, our network takes 3D coordinates as inputs and predicts implicit shape indicators and keypoint saliency simultaneously, thus naturally entangling 3D keypoint detection and shape reconstruction. We achieve superior performance on various public benchmarks, including standalone object datasets ModelNet40, KeypointNet, SMPL meshes and scene-level datasets 3DMatch and Redwood. Intrinsic shape awareness brings several advantages as follows. (1) SNAKE generates 3D keypoints consistent with human semantic annotation, even without such supervision. (2) SNAKE outperforms counterparts in terms of repeatability, especially when the input point clouds are down-sampled. (3) the generated keypoints allow accurate geometric registration, notably in a zero-shot setting. Codes are available at https://github.com/zhongcl-thu/SNAKE

연구 동기 및 목표

• 형상 복원이 암시적 형상 표현과 키포인트 중요도를 함께 학습함으로써 3D 키포인트 검출 성능을 향상시킬 수 있는지 조사한다.
• 기존 방법들이 이산적인 점군에 의존하고 내재된 형상 인식 능력이 부족한 점을 해결한다.
• 자연스럽게 3D 키포인트 검출과 표면 복원을 통합하는 통합된 비지도 프레임워크를 개발한다.
• 저해상도 샘플링 및 제로샷 레지istration 시나리오에서 키포인트의 재현성과 강건성을 향상시킨다.
• 인간이 레이블링하지 않은 조건에서도 다양한 물체 카테고리 간에 일관된 의미적 키포인트 검출을 가능하게 한다.

제안 방법

• SNAKE는 연속적인 3D 쿼리 좌표를 입력으로 받아 공유된 특징 공간에서 형상 점유도(표면 지표)와 키포인트 중요도 점수를 동시에 예측하는 좌표 기반 신경망을 사용한다.
• 모델은 입력 점군에 조건화된 학습된 암시적 표현에서 삼선형 특징 샘플링을 적용하여 3D 공간 전역에서 연속적이고 미분 가능한 추론을 가능하게 한다.
• 병렬 디코더 헤드는 키포인트 중요도를 예측하고, 두 번째 헤드는 쿼리 점이 기저 형상 표면 위에 있는지 여부를 예측한다.
• 모델은 격자 셀 당 局부 최댓값을 강제하기 위해 희박성 손실을 사용하고, 시야 간 일관성 있는 검출을 유도하기 위해 상대적 재현성 손실을 적용한다.
• 추론 단계에서 중요도 필드에 대한 기울기 상승을 사용하여 키포인트 좌표를 정밀하게 보정하는 최적화 단계를 적용한다.
• 손실 함수는 점유도, 표면, 재현성, 희박성 항목을 조합하여 형상 복원과 키포인트 검출을 동시에 지도한다.

실험 결과

연구 질문

• RQ1 암시적 형상 복원을 함께 학습함으로써 3D 키포인트 검출 성능, 특히 재현성과 의미 일관성 측면에서 향상될 수 있는가?
• RQ2 이산 기반 방법에 비해 좌표 기반 신경 필드 설정이 희박한 입력 점군에 대해 더 나은 일반화 및 강건성을 제공하는가?
• RQ3 형상 인식 암시적 표현은 인간의 레이블링 없이도 의미적으로 유의미한 키포인트를 탐지할 수 있는가?
• RQ4 형상 복원 통합이 저해상도 샘플링 및 제로샷 레지스트레이션 작업에서 키포인트 재현성에 어떤 영향을 미치는가?
• RQ5 비현실적인 해법을 방지하고 명확하고 재현 가능한 키포인트 검출을 보장하기 위해 손실 구성 요소의 어떤 분할이 필수적인가?

주요 결과

• ModelNet40에서 ε=0.04 기준으로 SNAKE는 85%의 상대적 재현성을 달성하여 이전 비지도 방법들을 능가한다.
• KeypointNet에서 SNAKE는 의미 키포인트 검출에 대해 89%의 mIoU를 기록하여 supervision 없이도 강력한 의미 일관성을 보였다.
• 심한 저해상도 샘플링 조건에서도 SNAKE는 높은 재현성을 유지하며(ε=0.1 기준 42% 상대적 재현성), UKPGAN 유사 방법들을 능가했다.
• 절단 실험 결과에서 점유도 및 표면 손실을 제거할 경우 성능이 근본적으로 떨어져(0.92% 재현성) 이들의 필요성을 입증했다.
• 최적의 격자 크기 U=6에서 최고 성능(85% 상대적 재현성)을 기록했고, 더 높은 부피 해상도(H=64)는 성능 향상을 가져왔지만 H=80에서는 노이즈가 많은余kosinüs 유사도로 인해 성능이 저하되었다.
• 추론 단계에서의 최적화 단계는 필수적이다. 10단계, 학습률 0.001 설정에서 85.4%의 재현성을 달성했고, 낮은 학습률(0.0001)이나 높은 학습률(0.1)은 성능 저하를 초래했다.