[논문 리뷰] PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds

Mutian Xu, Runyu Ding외 2명|arXiv (Cornell University)|2021. 03. 26.

3D Shape Modeling and Analysis참고 문헌 58인용 수 28

한 줄 요약

PAConv은 ScoreNet의 포지션 기반 가이드를 통해 가중치 행렬을 Weight Bank에서 동적으로 조합하여 컨볼루션 커널을 구성하고, 간단한 백본에서도 3D 포인트 클라우드에서 강력한 결과를 달성합니다.

ABSTRACT

We introduce Position Adaptive Convolution (PAConv), a generic convolution operation for 3D point cloud processing. The key of PAConv is to construct the convolution kernel by dynamically assembling basic weight matrices stored in Weight Bank, where the coefficients of these weight matrices are self-adaptively learned from point positions through ScoreNet. In this way, the kernel is built in a data-driven manner, endowing PAConv with more flexibility than 2D convolutions to better handle the irregular and unordered point cloud data. Besides, the complexity of the learning process is reduced by combining weight matrices instead of brutally predicting kernels from point positions. Furthermore, different from the existing point convolution operators whose network architectures are often heavily engineered, we integrate our PAConv into classical MLP-based point cloud pipelines without changing network configurations. Even built on simple networks, our method still approaches or even surpasses the state-of-the-art models, and significantly improves baseline performance on both classification and segmentation tasks, yet with decent efficiency. Thorough ablation studies and visualizations are provided to understand PAConv. Code is released on https://github.com/CVMI-Lab/PAConv.

연구 동기 및 목표

• 3D 포인트 클라우드의 불규칙성 및 비정렬성 다루기.
• 간단한 백본과 함께 작동하는 플러그 앤 플레이 컨볼루션 연산자 제공.
• 고정 커널이나 무작정 커널 예측 방법보다 모델링 유연성 증가.
• 분류 및 세그먼테이션 벤치마크에서 최첨단 또는 경쟁력 있는 성능 시연

제안 방법

• 다수의 기저 가중치 행렬으로 구성된 Weight Bank 정의.
• ScoreNet을 사용해 상대 포인트 위치에서 계수 예측.
• 동적 커널을 은행 행렬의 가중합으로 구성: K(p_i,p_j)=sum_m S_ij^m B_m.
• 포인트 관계(예: 좌표 및 거리)를 기반으로 한 입력으로 ScoreNet 학습.
• 상관관계 손실 L_corr를 통해 다양성을 촉진하도록 가중치 행렬 정규화

실험 결과

연구 질문

• RQ1 위치 적응적이고 동적으로 조립된 커널이 과도하게 엔지니어링된 백본 없이 포인트 클라우드 컨볼루션을 개선할 수 있는가?
• RQ2 커널 조립 메커니즘이 무작위 커널 예측이나 고정 커널 포인트 방법과 비교해 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 ScoreNet 입력, 정규화, 가중치 다양성이 성능에 미치는 영향은 무엇인가?
• RQ4 PAConv가 단순 네트워크 아키텍처로 객체 수준 및 장면 수준 작업에 대해 일반화되는가?

주요 결과

• PAConv는 ModelNet40에서 투표 없이 PointNet보다 4.0 포인트, DGCNN보다 1.0 포인트 향상.
• ShapeNet Part에서 PAConv가 DGCNN과 함께 클래스 및 인스턴스 mIoU를 각각 2.3 포인트와 0.9 포인트 향상.
• S3DIS에서 PAConv with L_corr가 블록 샘플링 방법 중 최상의 mIoU를 달성하고 PointNet++를 9.31포인트 향상.
• PAConv는 일부 기준선보다 현저히 낮은 FLOPs로 경쟁력 있거나 최첨단 성능을 달성합니다.
• 상관 규제 버전의 PAConv는 세그먼테이션 정확도(mIoU)와 가중치 다양성에서 추가 이득을 제공합니다.