[논문 리뷰] Grid-GCN for Fast and Scalable Point Cloud Learning

Qiangeng Xu, Xudong Sun외 3명|arXiv (Cornell University)|2019. 12. 06.

3D Shape Modeling and Analysis참고 문헌 52인용 수 9

한 줄 요약

Grid-GCN는 효율적인 데이터 구조화를 위한 커버리지 인식 격자 쿼리(Coverage-Aware Grid Query, CAGQ)와 맥락 인식 그래프 컨볼루션을 위한 격자 맥락 통합(Grid Context Aggregation, GCA)을 사용하는 빠르고 확장 가능한 포인트 클라우드 학습 프레임워크를 제안한다. 이는 분류 및 분할 벤치마크에서 최신 기술 수준의 정확도를 달성하며, 이전 방법 대비 최대 50배 빠른 속도를 기록했으며, 81920개의 포인트를 가진 ScanNet에서 50fps의 추론 속도를 구현한다.

ABSTRACT

Due to the sparsity and irregularity of the point cloud data, methods that directly consume points have become popular. Among all point-based models, graph convolutional networks (GCN) lead to notable performance by fully preserving the data granularity and exploiting point interrelation. However, point-based networks spend a significant amount of time on data structuring (e.g., Farthest Point Sampling (FPS) and neighbor points querying), which limit the speed and scalability. In this paper, we present a method, named Grid-GCN, for fast and scalable point cloud learning. Grid-GCN uses a novel data structuring strategy, Coverage-Aware Grid Query (CAGQ). By leveraging the efficiency of grid space, CAGQ improves spatial coverage while reducing the theoretical time complexity. Compared with popular sampling methods such as Farthest Point Sampling (FPS) and Ball Query, CAGQ achieves up to 50X speed-up. With a Grid Context Aggregation (GCA) module, Grid-GCN achieves state-of-the-art performance on major point cloud classification and segmentation benchmarks with significantly faster runtime than previous studies. Remarkably, Grid-GCN achieves the inference speed of 50fps on ScanNet using 81920 points per scene as input.

연구 동기 및 목표

• 포인트 기반 모델에서 데이터 구조화의 높은 계산 비용 문제를 해결하기 위해, 이는 총 학습 시간의 최대 88%를 차지할 수 있다.
• FPS와 Ball Query에 비해 포인트 클라우드 샘플링 및 이웃 쿼리의 공간 커버리지 향상과 시간 복잡도 감소를 목표로 한다.
• 효율적인 격자 기반 구조화와 효과적인 그래프 컨볼루션을 조합하여 실시간 대규형 포인트 클라우드 처리를 가능하게 한다.
• 지속적인 추론 지연을 크게 줄이며 포인트 클라우드 분류 및 분할에서 최신 기술 수준의 성능을 달성하는 것

제안 방법

• 보간화를 활용하여 중심 샘플링과 이웃 포인트 쿼리의 속도를 향상시키는 새로운 데이터 구조화 전략인 커버리지 인식 격자 쿼리(Coverage-Aware Grid Query, CAGQ)를 도입한다.
• CAGQ는 커버리지 인식 샘플링 메커니즘을 통해 부족한 영역을 우선순위로 삼아 완전한 공간 커버리지를 확보함으로써 중복을 감소시키고 해상도를 향상시킨다.
• 이웃 격자 셀의 특징을 집계하여 국소 맥락을 풍부화시키되, 계산 부담을 증가시키지 않는 그래프 컨볼루션 모듈인 격자 맥락 통합(Grid Context Aggregation, GCA)을 활용한다.
• 다중 척도의 격자 컨볼루션(GridConv) 레이어 아키텍처를 사용하여 다운샘플링과 업샘플링을 번갈아 적용함으로써 포인트 그룹 간의 계층적 특징 학습을 가능하게 한다.
• 간선 관계 계산에 커버리지 가중치를 적용하여 부족한 영역을 강조함으로써 모델의 강건성과 정확도를 향상시킨다.
• 희소 포인트 클라우드에서 메모리 및 계산 비용을 줄이기 위해 점유된 바voxels에서만 계산을 수행함으로써 추론 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 격자 기반 데이터 구조화 방법은 공간 커버리지를 유지하거나 향상시키면서도 포인트 클라우드 샘플링 및 이웃 쿼리의 시간 복잡도를 감소시킬 수 있는가?
• RQ2 격자 기반 맥락 통합의 통합은 포인트 클라우드 학습에서 그래프 컨볼루션의 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 체적 및 포인트 기반 방법을 조합한 하이브리드 접근 방식은 대규형 포인트 클라우드에서 높은 정확도와 실시간 추론을 동시에 달성할 수 있는가?
• RQ4 커버리지 인식 샘플링과 맥락 풀링은 포인트 클라우드 분할 및 분류에서 모델 정확도와 추론 속도에 어떤 영향을 미치는가?

주요 결과

• Grid-GCN는 투표 없이 ModelNet40에서 최신 기술 수준의 전체 정확도 93.1%를 달성했으며, 이는 이전 방법을 능가하는 동시에 평균적으로 5배 빠른 속도를 기록했다.
• ScanNet 벤치마크에서 Grid-GCN는 다른 모델 대비 10배의 속도 향상을 기록했으며, 81920개의 입력 포인트에 대해 추론 지연 시간이 단 19.8ms에 그쳤다.
• 81920개의 포인트를 사용하여 ScanNet에서 Grid-GCN는 50fps의 추론 속도를 달성하여 대규형 포인트 클라우드 처리의 실시간 능력을 입증했다.
• 절단 분석 결과 CAGQ와 GCA는 속도와 정확도 향상에 크게 기여하며, 커버리지 가중치는 최소한의 지연만을 유발하지만 정확도를 0.6% 향상시킨다.
• 확장성 분석 결과 입력 포인트 수가 4096에서 81920으로 증가할 때 Grid-GCN는 PointNet++ 대비 11배의 속도 향상을 유지한다.
• GridConv 레이어의 출력 채널 수를 줄이면 정확도 저하가 최소한이면서도 37%의 속도 향상이 이루어지며, 이는 모델의 효율성을 강력히 보여준다.