[논문 리뷰] PointConv: Deep Convolutional Networks on 3D Point Clouds

Wenxuan Wu, Zhongang Qi외 1명|arXiv (Cornell University)|2018. 11. 17.

3D Shape Modeling and Analysis참고 문헌 47인용 수 103

한 줄 요약

PointConv는 3D 포인트 클라우드에 대해 밀도 재가중된 MLP 주도 컨벌루션을 도입하여 메모리 효율적인 구현과 세분화를 위한 역컨볼루션 대응체인 PointDeconv와 함께 변환 불변성 및 순열 불변성을 갖춘 3D CNN을 달성한다.

ABSTRACT

Unlike images which are represented in regular dense grids, 3D point clouds are irregular and unordered, hence applying convolution on them can be difficult. In this paper, we extend the dynamic filter to a new convolution operation, named PointConv. PointConv can be applied on point clouds to build deep convolutional networks. We treat convolution kernels as nonlinear functions of the local coordinates of 3D points comprised of weight and density functions. With respect to a given point, the weight functions are learned with multi-layer perceptron networks and density functions through kernel density estimation. The most important contribution of this work is a novel reformulation proposed for efficiently computing the weight functions, which allowed us to dramatically scale up the network and significantly improve its performance. The learned convolution kernel can be used to compute translation-invariant and permutation-invariant convolution on any point set in the 3D space. Besides, PointConv can also be used as deconvolution operators to propagate features from a subsampled point cloud back to its original resolution. Experiments on ModelNet40, ShapeNet, and ScanNet show that deep convolutional neural networks built on PointConv are able to achieve state-of-the-art on challenging semantic segmentation benchmarks on 3D point clouds. Besides, our experiments converting CIFAR-10 into a point cloud showed that networks built on PointConv can match the performance of convolutional networks in 2D images of a similar structure.

연구 동기 및 목표

• 격자(grid)로 변환하지 않고 비정형적이며 무순서인 3D 포인트 클라우드에 컨벌루션을 적용하는 것을 동기 부여한다.
• 학습된 가중치 및 밀도 함수로 연속적인 3D 컨볼루션을 근사하기 위해 PointConv를 제안한다.
• 포인트 세트에서 스케일 가능하고 순서 불변성과 평행 불변의 컨벌루션을 가능하게 한다.
• 세분화 작업을 위한 특징 전달을 위해 PointConv를 역컨볼루션 연산자로 확장한다.
• 합성 및 실 데이터셋에서 최첨단 혹은 강력한 성능을 보여주고 CIFAR-10을 포인트 클라우드로 변환한 벤치마크와 비교한다.

제안 방법

• 컨벌루션을 연속 연산자로 취급하고 로컬 좌표에 대한 MLP로 가중치 함수를 근사한다.
• 커널 밀도 추정으로 역 밀도를 추정하고 MLP로 변환하여 기여도를 재가중한다(몬테카를로 합리화).
• 점들 간 가중치를 공유하여 순서 불변성을 유지하고 점Conv를 행렬 곱과 1x1 컨볼루션으로 축소하는 메모리 효율적 재정식을 적용한다.
• KNN 기반 그룹화와 1x1 MLP로 가중치 생성을 사용하여 로컬 이웃에서 PointConv를 계산; 밀도 스케일로 가중합으로 집계한다.
• Coarse 특징을 미세 해상도로 전파하기 위해 PointDeconv를 도입하고 보간 후 PointConv 기반 정제를 수행한다.
• ModelNet40, ShapeNet Part, ScanNet, CIFAR-10 패러다임(포인트 클라우드 및 변환된 이미지)에 걸쳐 확장성과 성능을 보여준다.

실험 결과

연구 질문

• RQ1 3D 포인트에서 정의된 연속적이고 밀도 가중 컨벌루션이 격자 기반 CNN과 비교해 변환 및 순서 불변성을 달성할 수 있을까?
• RQ2 현대 네트워크 규모와 해상도로 확장되도록 PointConv를 효율적으로 구현하는 방법은?
• RQ3 대략적으로 coarse-to-fine 특징 전파를 활용하여 세분화를 개선하는가?
• RQ4 PointConv가 CIFAR-10에서 포인트 클라우드 문제로 다룰 때 3D 의미론적 세분화 벤치마크에서 어떻게 성능을 보이는가?
• RQ5 역밀도 스케일링과 MLP 구성의 성능 및 메모리 사용에 미치는 영향은 무엇인가?

주요 결과

• PointConv는 3D 포인트 입력을 사용할 때 ShapeNet Part에서 최첨단 수준의 성능에 근접하거나 경쟁력 있는 결과를 달성한다.
• ScanNet 의미론적 장면 표기에 대해 PointConv은 여러 베이스라인을 능가하며 평균 IoU가 55.6%이다(베이스라인의 30.6%–43.8% 대비).
• PointConv는 5-layer 또는 VGG 유사 구조를 포인트 클라우드에 적용할 때 CIFAR-10에서 2D CNN 성능과 일치할 수 있다.
• 효율적인 PointConv 구성은 계층당 8 GB의 불가능한 메모리에서 현실적인 수준으로 감소시켜 더 깊은 네트워크를 가능하게 한다.
• 역밀도 스케일링은 흡수에서 특히 초기 층에서 약 1%의 성능 향상을 보이며 비선형 변환은 밀도 처리에 있어 효과적이다.
• PointDeconv는 세분화 작업을 위해 특징의 효과적인 업샘플링/전파를 가능하게 하며 건너뛰기 연결과 조밀-대-세부 정보를 활용한다.