[논문 리뷰] Spherical Kernel for Efficient Graph Convolution on 3D Point Clouds

Huan Lei, Naveed Akhtar외 1명|arXiv (Cornell University)|2019. 09. 20.

3D Shape Modeling and Analysis참고 문헌 89인용 수 16

한 줄 요약

이 논문은 3D 포인트 클라우드에서 효율적인 그래프 컨볼루션을 위해 구형 커널을 제안한다. 국소 3D 공간을 이산적인 부피 빈으로 분할하여 이동 불변성, 비대칭성, 계산 효율성을 확보한다. 기존 방법들과 비교해 파arameter 수와 추론 시간을 크게 줄였으며, 포인트 클라우드 분류 및 의미 세그멘테이션에서 최신 기준 성능을 달성한다.

ABSTRACT

We propose a spherical kernel for efficient graph convolution of 3D point clouds. Our metric-based kernels systematically quantize the local 3D space to identify distinctive geometric relationships in the data. Similar to the regular grid CNN kernels, the spherical kernel maintains translation-invariance and asymmetry properties, where the former guarantees weight sharing among similar local structures in the data and the latter facilitates fine geometric learning. The proposed kernel is applied to graph neural networks without edge-dependent filter generation, making it computationally attractive for large point clouds. In our graph networks, each vertex is associated with a single point location and edges connect the neighborhood points within a defined range. The graph gets coarsened in the network with farthest point sampling. Analogous to the standard CNNs, we define pooling and unpooling operations for our network. We demonstrate the effectiveness of the proposed spherical kernel with graph neural networks for point cloud classification and semantic segmentation using ModelNet, ShapeNet, RueMonge2014, ScanNet and S3DIS datasets. The source code and the trained models can be downloaded from https://github.com/hlei-ziyan/SPH3D-GCN.

연구 동기 및 목표

• 비정규적인 3D 포인트 클라우드 데이터에 효율적이고 이산적인 컨볼루션 연산을 적용하는 데 도전하는 것.
• 엣지에 의존하는 필터 생성 없이도 효과적인 기하학적 특징 학습을 위해 이동 불변성과 비대칭성을 유지하는 커널을 설계하는 것.
• 가장자리 점 샘플링과 풀링/언풀링 연산을 활용한 그래프 피라미드를 통해 대규모 포인트 클라우드의 효율적 처리를 가능하게 하는 것.
• 기존 방법들인 PointCNN과 PointNet++과 비교해 계산 오버헤드와 모델 복잡성을 줄이는 것.
• 경량이며 학습 가능한 구형 커널을 사용해 합성 및 실세계 3D 포인트 클라우드 벤치마크에서 경쟁력 있는 성능을 입증하는 것.

제안 방법

• 구형 커널은 각 점 주변의 국소 3D 공간을 이산적인 부피 빈으로 나누며, 각 빈에 학습 가능한 가중치를 부여해 이산 컨볼루션 연산을 형성한다.
• 커널은 정점이 점을 나타내고, 정의된 반경 내 범위 검색을 통해 간선이 형성되는 공간 그래프 신경망에 적용된다.
• 그래프의 군집화는 가장자리 점 샘플링(FPS)을 사용해 계층적인 그래프 피라미드를 생성하며, 기존 CNN의 특징 맵 다운샘플링과 유사하다.
• 풀링 및 언풀링 연산을 정의하여 그래프 레벨 간에 정점 특징을 다운샘플링 및 업샘플링함으로써 세그멘테이션을 위한 U-Net 유사 아키텍처를 가능하게 한다.
• 유사한 국소 기하학적 구조에 대해 가중치를 공유함으로써 이동 불변성을 유지하고, 정점 쌍을 별도로 처리함으로써 특징의 밀도를 유지함으로써 비대칭성을 확보한다.
• 표준 백프로파게이션을 사용해 네트워크를 엔드 투 엔드로 훈련하며, 커널 가중치와 특징 표현을 함께 학습한다.

실험 결과

연구 질문

• RQ1 비정규적인, 학습 가능한 구형 커널을 설계하여 3D 포인트 클라우드에서 효율적이고 효과적인 그래프 컨볼루션을 가능하게 할 수 있는가?
• RQ2 제안된 커널은 엣지에 의존하는 필터 생성을 피하면서도 이동 불변성과 비대칭성을 유지하는가?
• RQ3 구형 컨볼루션을 갖는 그래프 피라미드 아키텍처는 포인트 클라우드 분류 및 의미 세그멘테이션 작업에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 PointNet++ 및 PointCNN과 같은 기존 최신 기술과 비교해 제안된 방법은 효율성과 정확도에서 어떻게 비교되는가?
• RQ5 구형 커널은 다양한 국소 기하학적 맥락에서 다양한 작업에 특화된 특징을 얼마나 잘 학습하는가?

주요 결과

• 제안된 SPH3D-GCN은 ModelNet40, ShapeNet, S3DIS 데이터셋에서 포인트 클라우드 분류 및 의미 세그멘테이션에서 최신 기준 성능을 달성한다.
• 메모리 사용량이 32,768개 점 기준 8.45GB로, PointNet++의 1,024개 점 기준 8.57GB보다 약간 낮으며, 최대 65,536개 점의 포인트 클라우드를 효율적으로 처리한다.
• 모델 파라미터 수가 단 0.4백만 개로, 더 큰 배치 크기를 사용함에도 불구하고 PointCNN의 440만 개 파라미터보다 10배 이상 적다.
• 2,048, 4,096, 8,192개 점 입력 기준으로 단일 샘플 추론 시간이 PointCNN과 유사하거나 더 빠르며, 계산 오버헤드가 크게 감소했다.
• 커널 시각화 결과, 서로 다른 학습된 커널이 다양한 기하 패턴을 특화해 탐지하는 것으로 나타났다. 예를 들어 상부 반구에는 양의 가중치, 하부 반구에는 음의 가중치가 부여되어 특징의 다양성을 보여준다.
• 가장자리 점 샘플링을 통한 그래프 군집화가 계층적으로 해상도를 감소시키며, 구조적 정보를 유지하면서도 계층적 특징 학습을 가능하게 한다.