[논문 리뷰] RGCNN: Regularized Graph CNN for Point Cloud Segmentation

Gusi Te, Wei Hu외 2명|arXiv (Cornell University)|2018. 06. 08.

3D Shape Modeling and Analysis참고 문헌 23인용 수 90

한 줄 요약

RGCNN은 비정형 3D 포인트 클라우드를 동적으로 업데이트되는 그래프 라플라시안과 그래프-신호 스무딩 prior를 사용하여 분할 및 분류를 수행하는 방식으로 경쟁력 있는 정확도와 향상된 견고성을 달성합니다.

ABSTRACT

Point cloud, an efficient 3D object representation, has become popular with the development of depth sensing and 3D laser scanning techniques. It has attracted attention in various applications such as 3D tele-presence, navigation for unmanned vehicles and heritage reconstruction. The understanding of point clouds, such as point cloud segmentation, is crucial in exploiting the informative value of point clouds for such applications. Due to the irregularity of the data format, previous deep learning works often convert point clouds to regular 3D voxel grids or collections of images before feeding them into neural networks, which leads to voluminous data and quantization artifacts. In this paper, we instead propose a regularized graph convolutional neural network (RGCNN) that directly consumes point clouds. Leveraging on spectral graph theory, we treat features of points in a point cloud as signals on graph, and define the convolution over graph by Chebyshev polynomial approximation. In particular, we update the graph Laplacian matrix that describes the connectivity of features in each layer according to the corresponding learned features, which adaptively captures the structure of dynamic graphs. Further, we deploy a graph-signal smoothness prior in the loss function, thus regularizing the learning process. Experimental results on the ShapeNet part dataset show that the proposed approach significantly reduces the computational complexity while achieving competitive performance with the state of the art. Also, experiments show RGCNN is much more robust to both noise and point cloud density in comparison with other methods. We further apply RGCNN to point cloud classification and achieve competitive results on ModelNet40 dataset.

연구 동기 및 목표

• 격자화나 렌더링 없이도 비정형 3D 포인트 클라우드에 대한 직접 학습을 동기 부여합니다.
• 다층에서 그래프 구조를 업데이트하여 동적 토폴로지를 포착하는 정규화된 그래프 CNN을 제안합니다.
• 손실 함수에 그래프-신호 스무스니스 프라이어를 도입하여 라플라시안 스무딩을 강제합니다.
• 계산 복잡도를 감소시키면서 소음/밀도에 대한 견고성을 향상시키고 경쟁력 있는 분할 성능을 보여줍니다.
• ModelNet40에서 포인트 클라우드 분류로 아키텍처를 확장합니다.]
• method translate
• Represent point clouds as graphs using coordinates and normals as node features.
• Construct fully-connected graphs with edge weights a_{i,j}=exp(-β||p_i-p_j||^2) to capture global relationships.
• Use spectral graph convolutions with Chebyshev polynomial approximation for localized filtering.
• Update the graph Laplacian in each layer to adapt to evolving feature-induced topology.
• Incorporate a graph-signal smoothness prior y^T L y into the loss to promote Laplacian smoothing across layers.
• Provide permutation-invariance proof ensuring outputs align with input point order.

제안 방법

• 점 좌표와 법선을 노드 특징으로 사용하여 포인트 클라우드를 그래프로 표현합니다.
• 전역 관계를 포착하기 위해 a_{i,j}=exp(-β||p_i-p_j||^2)인 엣지 가중치를 갖는 완전 연결 그래프를 구성합니다.
• 로컬 필터링을 위한 Chebyshev 다항식 근사를 사용한 스펙트럴 그래프 컨볼루션을 활용합니다.
• 각 층에서 특징으로 유도된 토폴로지에 맞추어 그래프 라플라시안을 업데이트합니다.
• 손실에 y^T L y 형태의 그래프-신호 스무스니스 프라이어를 도입하여 층 간 라플라시안 스무딩을 촉진합니다.
• 출력이 입력 포인트 순서와 정렬되도록 순열 불변성 증명을 제공합니다.

실험 결과

연구 질문

• RQ1 비정형 포인트 클라우드에 대해 격자화 없이 그래프-CNN이 직접 작동할 수 있는가?
• RQ2 층별로 그래프 라플라시안을 업데이트하면 분할 성능과 견고성이 향상되는가?
• RQ3 그래프-신호 스무스니스 프라이어가 토폴로지 일관성을 강제함으로써 분할을 개선하는가?
• RQ4 ShapeNet Part에서 분할 및 ModelNet40에서 분류에서 RGCNN이 최첨단 방법과 어떻게 비교되는가?

주요 결과

• RGCNN은 ShapeNet Part에서 PointNet, PointNet++, SynSpecCNN과 비교했을 때 경쟁력 있는 평균 IoU를 달성합니다.
• 완전 연결 그래프 구성은 k-NN 그래프보다 더 나은 성능을 보이며(80.4% 평균 IoU 대 k-NN 이하), 성능이 향상됩니다.
• RGCNN은 노이즈 및 포인트 밀도 감소에 대해 견고성을 보였으며, 섀도우 및 데이터 손실이 있는 경우에도 기저선보다 우수했습니다.
• ModelNet40에서 이 방법은 PointNet 및 PointNet++에 비해 경쟁력 있는 분류 정확도를 달성하지만, 최신 방법들보다 약간 낮습니다.
• 아키텍처는 빠른 순방향 시간과 확장 가능한 모델 크기로 공간-시간 복잡도 측면에서 우호적입니다.