[논문 리뷰] Parameter is Not All You Need: Starting from Non-Parametric Networks for 3D Point Cloud Analysis

Renrui Zhang, Liuhui Wang외 5명|arXiv (Cornell University)|2023. 03. 14.

3D Shape Modeling and Analysis인용 수 32

한 줄 요약

Point-NN 도입, 3D 포인트 클라우드 분석을 위한 완전 비매개망(non-parametric) 네트워크이며, 이를 Parametric Network(Point-PN) 및 기존 모델을 재학습 없이 강화하는 플러그앤플레이 추론 모듈로 확장한다.

ABSTRACT

We present a Non-parametric Network for 3D point cloud analysis, Point-NN, which consists of purely non-learnable components: farthest point sampling (FPS), k-nearest neighbors (k-NN), and pooling operations, with trigonometric functions. Surprisingly, it performs well on various 3D tasks, requiring no parameters or training, and even surpasses existing fully trained models. Starting from this basic non-parametric model, we propose two extensions. First, Point-NN can serve as a base architectural framework to construct Parametric Networks by simply inserting linear layers on top. Given the superior non-parametric foundation, the derived Point-PN exhibits a high performance-efficiency trade-off with only a few learnable parameters. Second, Point-NN can be regarded as a plug-and-play module for the already trained 3D models during inference. Point-NN captures the complementary geometric knowledge and enhances existing methods for different 3D benchmarks without re-training. We hope our work may cast a light on the community for understanding 3D point clouds with non-parametric methods. Code is available at https://github.com/ZrrSkywalker/Point-NN.

연구 동기 및 목표

• 3D 포인트 클라우드 처리에 대한 학습하지 않는 구성요소(FPS, k-NN, pooling)를 재검토하고 단독 효과를 평가한다.
• 학습 없이도 삼각 임베딩(PosE)을 가진 비매개 인코더가 경쟁력 있는 결과를 달성할 수 있음을 보여준다.
• Point-NN이 Few-learnable parameters를 가진 파라메트릭 네트워크(Point-PN)의 선구자로 작용하는 방법을 보여준다.
• 재학습 없이 추론 중에 기존 3D 모델을 강화하는 플러그앤플레이 모듈을 제안한다.

제안 방법

• 비매개 구성요소(FPS, k-NN, pooling)로 Point-NN을 구성하고 삼각 PosE 임베딩을 활용한다.
• 비매개 인코더를 사용하여 글로벌 피처를 생성하고 메모리 기반 분류를 위한 포인트-메모리 뱅크를 생성한다.
• 학습 가능한 매개변수 없이 로컬 기하학을 드러내는 삼각 PosE를 통해 원시 포인트를 인코딩한다.
• Concatenation, PosE 기반 가중치, Max/Avg 풀링을 사용하여 4단계에서 로컬 기하학을 축적한다.
• 훈련 피처(F_mem)와 라벨(T_mem)을 캐시하여 포인트-메모리 뱅크를 구축하고 코사인 유사도와 라벨 통합을 통해 테스트 샘플을 분류한다.
• Point-NN을 선형층을 삽입하여 Point-PN으로 확장하고, 경쟁력 있는 정확도와 적은 매개변수를 갖는 파라메트릭 네트워크를 만든다.
• 추론 중 재학습 없이 Point-NN 예측을 기성 모델과 융합하는 플러그앤플레이 모듈을 제공하여 정확도를 개선한다.

실험 결과

연구 질문

• RQ1 순수 비매개 구성요소(FPS, k-NN, pooling, 삼각 임베딩)만으로 학습 없이 3D 포인트 클라우드 성능을 우수하게 달성할 수 있는가?
• RQ2 few-learnable layers를 가진 파라메트릭 형태(Point-PN)로 확장했을 때 비매개 인코더 기반 프레임워크가 얼마나 멀리 갈 수 있는가?
• RQ3 Point-NN이 재학습 없이 추론 시 기존 학습된 3D 모델을 개선하는 플러그앤플레이 모듈로 작용할 수 있는가?
• RQ4 메모리 뱅크 기반의 유사도 주도 분류가 분류, 분할, 탐지와 같은 3D 작업에서 어떤 비교적 이점을 제공하는가?

주요 결과

• Point-NN은 학습 없이도 형태 분류, 파트 분할, 3D 객체 탐지에서 우수한 성능을 보이며 특정 벤치마크에서 학습된 일부 모델을 능가한다.
• 적은 샷 분류에서 Point-NN은 경쟁하는 학습된 모델보다 정확도가 20% 포인트 이상 크게 앞선다.
• Point-PN(Point-NN 플러스 선형층)은 0.8M 매개변수로도 경쟁력 있는 정확도를 달성한다(예: 93.8% on ModelNet40 with 0.8M).
• Point-NN을 플러그앤플레이 모듈로 사용하면 재학습 없이 기존 모델의 정확도를 분류에서 최대 약 2%, 탐지에서 AR 11%까지 향상시킬 수 있다.
• 삼각 임베딩(PosE)은 높은 주파수의 3D 기하를 포착하고 학습 가능한 연산자 없이도 효과적인 상대 위치 지정을 가능하게 한다.
• 코사인 유사도 기반 메모리 뱅크는 테스트 샘플에 대한 강한 판별력과 적응적 라벨링을 제공한다.