[논문 리뷰] PointCNN: Convolution On $\mathcal{X}$-Transformed Points

Yangyan Li, Rui Bu외 4명|arXiv (Cornell University)|2018. 01. 23.

3D Shape Modeling and Analysis참고 문헌 60인용 수 123

한 줄 요약

PointCNN은 이웃 특징을 가중하고 순서를 바꿔 포인트 단위 𝒳-변환을 학습하는 𝒳-Conv 연산자를 도입하여 비정형 포인트 클라우드에서 CNN과 같은 학습을 가능하게 하고 분류 및 분할 벤치마크에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

We present a simple and general framework for feature learning from point clouds. The key to the success of CNNs is the convolution operator that is capable of leveraging spatially-local correlation in data represented densely in grids (e.g. images). However, point clouds are irregular and unordered, thus directly convolving kernels against features associated with the points, will result in desertion of shape information and variance to point ordering. To address these problems, we propose to learn an $\mathcal{X}$-transformation from the input points, to simultaneously promote two causes. The first is the weighting of the input features associated with the points, and the second is the permutation of the points into a latent and potentially canonical order. Element-wise product and sum operations of the typical convolution operator are subsequently applied on the $\mathcal{X}$-transformed features. The proposed method is a generalization of typical CNNs to feature learning from point clouds, thus we call it PointCNN. Experiments show that PointCNN achieves on par or better performance than state-of-the-art methods on multiple challenging benchmark datasets and tasks.

연구 동기 및 목표

• 정규 격자 구조를 강제로 적용하지 않고 포인트 클라우드에서 공간적으로 국소적인 상관관계 학습을 촉진합니다.
• 합성 전 이웃 특징을 가중하고 순서를 바꾸는 𝒳-변환을 개발합니다.
• 포인트 클라우드에 CNN을 일반화하고 분류와 분할을 위한 계층적 아키텍처를 구축합니다.

제안 방법

• 로컬 이웃 좌표로부터 학습된 𝑘×𝑘 𝒳-변환을 계산하는 𝒳-Conv를 도입합니다.
• 보조 MLP로 포인트 좌표를 올려 𝒳-Conv 입력 특징을 형성한 다음, 표준 합성곱 이전에 학습된 𝑘×𝑘 𝒳-변환으로 특징을 가중하고 순서를 바ꉘ니다.
• 𝒳-Conv 층과 포인트 풀링/다운샘플링을 번갈아 쌓고 더 큰 수용영역을 위한 선택적 확장을 사용하여 계층적 PointCNN 아키텍처를 구성합니다.
• 대표점 중심의 로컬 좌표계를 사용하여 출력이 절대 위치가 아닌 상대 기하에 의존하도록 보장합니다.
• 다음 𝒳-Conv 층 이전에 추가 MLP를 통해 전역 좌표를 선택적으로 융합합니다.
• 표준 역전파와 이웃 포인트의 임의 샘플링/섞기를 통한 데이터 증가로 엔드-투-엔드로 학습합니다.

실험 결과

연구 질문

• RQ1 𝒳-변환이 순수한 포인트별 합성으로 손실된 형태 정보를 회복하기 위해 이웃 특징을 가중하고 순서를 바꿀 수 있도록 학습할 수 있도록 학습할 수 있을까요?
• RQ2 PointCNN이 불규칙하고 무정렬된 포인트 클라우드에 CNN과 유사한 특징 학습을 일반화하면서도 미분 가능하고 엔드-투-엔드로 학습 가능한가요?
• RQ3 연결 밀도, 확장(dilation), 스킵 연결 등의 어떤 아키텍처 선택이 분류 및 분할 작업의 성능을 향상시키나요?
• RQ4 표준 벤치마크에서 PointCNN이 다른 포인트-클라우드 네트워크와 이미지 기반 CNN과 어떻게 비교되나요?

주요 결과

데이터세트	ModelNet40 mA	ModelNet40 OA	ScanNet mA	ScanNet OA
PointCNN	88.8	92.5	88.1	92.2

• PointCNN은 1024 입력 포인트로 분류에서 ModelNet40 및 ScanNet에서 경쟁력 있는 또는 최첨단 결과에 도달합니다.
• ShapeNet Parts 분할에서 pIoU, mpIoU 및 OA 지표에서 여러 방법을 능가합니다.
• 소거 연구는 𝒳-Conv가 𝒳-변환이 없는 변종에 비해 성능의 핵심 기여자임을 보여줍니다.
• 시각화는 𝒳-변환이 특징을 집중시키고 대표 점들에 대해 구별 가능한 표현을 촉진함을 시사합니다.
• 확장된 확장(dilations)이 있는 Dense/dual-path 버전은 더 넓은 수용 영역을 가능하게 하면서도 합리적인 파라미터 수를 유지합니다.
• PointCNN은 스케치 데이터셋에서 강력한 성능을 보이고 포인트-클라우드 표현을 사용할 때 MNIST/CIFAR10에서도 합리적인 결과를 유지합니다.
• PointNet/PointNet++ 및 기타 3D 아키텍처와 비교할 때, PointCNN은 중간 수준의 파라미터 및 FLOP 규모로 경쟁력 있는 정확도를 제공합니다.