[논문 리뷰] ShellNet: Efficient Point Cloud Convolutional Neural Networks using Concentric Shells Statistics

Zhiyuan Zhang, Binh‐Son Hua외 1명|arXiv (Cornell University)|2019. 08. 17.

3D Shape Modeling and Analysis참고 문헌 28인용 수 51

한 줄 요약

ShellNet은 ShellConv를 도입하여 동심 원형 구(shell)에서의 순열-불변 컨볼루션을 수행하고, 포인트 클라우드에서 직접 빠르게 엔드-투-엔드 학습을 가능하게 하며, 경량 아키텍처로 분류 및 세그먼테이션에서 최첨단 결과를 달성한다.

ABSTRACT

Deep learning with 3D data has progressed significantly since the introduction of convolutional neural networks that can handle point order ambiguity in point cloud data. While being able to achieve good accuracies in various scene understanding tasks, previous methods often have low training speed and complex network architecture. In this paper, we address these problems by proposing an efficient end-to-end permutation invariant convolution for point cloud deep learning. Our simple yet effective convolution operator named ShellConv uses statistics from concentric spherical shells to define representative features and resolve the point order ambiguity, allowing traditional convolution to perform on such features. Based on ShellConv we further build an efficient neural network named ShellNet to directly consume the point clouds with larger receptive fields while maintaining less layers. We demonstrate the efficacy of ShellNet by producing state-of-the-art results on object classification, object part segmentation, and semantic scene segmentation while keeping the network very fast to train.

연구 동기 및 목표

• 3D 포인트 클라우드에서 포인트 순서 의존성 없이 효율적으로 학습을 시작한다는 목표.
• Concentric spherical shells를 사용하여 지역-의식적이고 순서-불변인 특징을 정의하는 ShellConv를 제안한다.
• 적은 층으로도 넓은 수용 필드를 달성하고 빠른 학습이 가능하도록 ShellNet을 구축한다.
• 객체 분류, 객체 부품 세그먼트, 의미적 장면 세그먼테이션에서 최첨단 성능을 보여준다.

제안 방법

• 로컬 이웃을 concentric spherical shells로 구획하는 ShellConv 정의.
• 각 shell을 해당 shell 안의 포인트들에 대한 최대풀링 특성으로 표현.
• 내부에서 외부 shell로 연결되는 1D 컨볼루션을 수행하기 위해 shell 특징을 연결(concatenate)한다.
• 분류를 위한 인코더(세 개의 ShellConv 층)와 세그먼테이션을 위한 U-Net 유사 인코더-디코더를 사용한다.
• 일반 역전파로 학습하고, shell 내 포인트 특징을 lift하기 위해 mlp를 사용한다.

실험 결과

연구 질문

• RQ1 순서에 의존하지 않는 순열 불변의 shell 기반 컨볼루션이 3D 포인트 클라우드에서 더 적은 매개변수와 더 빠른 학습으로 경쟁력 있는 정확도를 달성할 수 있는가？
• RQ2 ShellConv의 shell 기반 집계가 수용 필드 및 분류/세그먼테이션 작업에서의 성능에 어떤 영향을 미치는가？
• RQ3 shell 크기 및 이웃 샘플링 전략이 정확도와 효율성에 어떤 영향을 미치는가？

주요 결과

• ShellNet은 shell 크기 약 16에서 ModelNet40 분류에서 최첨단 정확도를 달성한다.
• ShellNet은 ShapeNet(부품), ScanNet, S3DIS 데이터셋에서 세그먼테이션 성능이 강하며, 종종 mIoU와 OA에서 1위 또는 1위 근처에 랭크된다.
• ShellNet은 매개변수 수와 FLOPs가 적어 더 효율적이며, 여러 baselines에 비해 더 빠른 학습 및 추론을 제공한다.
• shell 크기를 증가시키면 수용 필드가 커져 정확도가 최적점까지 향상될 수 있으며(예: ss=32에서 분류 93.1%), ss=64는 다소 하락하여 92.8%가 된다.
• ShellConv 연산자는 포인트 클라우드에서 직접 효과적으로 지역 특징 학습을 가능하게 하면서도 순열 불변성을 유지한다.