[논문 리뷰] ASSANet: An Anisotropic Separable Set Abstraction for Efficient Point Cloud Representation Learning

Guocheng Qian, Hasan Abed Al Kader Hammoud외 3명|arXiv (Cornell University)|2021. 10. 20.

3D Shape Modeling and Analysis참고 문헌 48인용 수 40

한 줄 요약

ASSANet은 PointNet++의 SA를 Anisotropic Separable SA (ASSA)로 대체하여 분류, 분할, 부분 분할 벤치마크에서 추론이 더 빨라지고 정확도가 더 높아졌다.

ABSTRACT

Access to 3D point cloud representations has been widely facilitated by LiDAR sensors embedded in various mobile devices. This has led to an emerging need for fast and accurate point cloud processing techniques. In this paper, we revisit and dive deeper into PointNet++, one of the most influential yet under-explored networks, and develop faster and more accurate variants of the model. We first present a novel Separable Set Abstraction (SA) module that disentangles the vanilla SA module used in PointNet++ into two separate learning stages: (1) learning channel correlation and (2) learning spatial correlation. The Separable SA module is significantly faster than the vanilla version, yet it achieves comparable performance. We then introduce a new Anisotropic Reduction function into our Separable SA module and propose an Anisotropic Separable SA (ASSA) module that substantially increases the network's accuracy. We later replace the vanilla SA modules in PointNet++ with the proposed ASSA module, and denote the modified network as ASSANet. Extensive experiments on point cloud classification, semantic segmentation, and part segmentation show that ASSANet outperforms PointNet++ and other methods, achieving much higher accuracy and faster speeds. In particular, ASSANet outperforms PointNet++ by $7.4$ mIoU on S3DIS Area 5, while maintaining $1.6 imes $ faster inference speed on a single NVIDIA 2080Ti GPU. Our scaled ASSANet variant achieves $66.8$ mIoU and outperforms KPConv, while being more than $54 imes$ faster.

연구 동기 및 목표

• 모바일 및 내장 디바이스를 위한 효율적인 점군 처리의 동기를 부여한다.
• PointNet++ SA의 병목 현상을 조사하고 더 빠른 대안을 제시한다.
• 정확도를 늘리되 지연 시간을 증가시키지 않는 Separable SA와 Anisotropic Reduction을 개발한다.
• PointNet++ SA를 ASSA로 대체하여 ASSANet 아키텍처를 형성한다.
• ASSANet의 너비(width)와 깊이(depth) 확장을 통해 확장성을 시연한다.

제안 방법

• 이전 그룹화 전에 포인트 특징에 MLP를 적용하기 위해 PreConv SA를 도입한다.
• 학습을 그룹화 전 후로 나누고 잔차 연결과 함께 MLP를 사용하는 Separable SA를 개발한다.
• 감축 중 특징을 스케일링하기 위해 이웃별 상대 위치를 사용하는 Anisotropic Reduction을 제안한다.
• ASSA를 PointNet++에 통합하여 ASSANet을 형성하고 분류, 의미 분할, 부분 분할에서 평가한다.
• 너비(C)와 깊이(D)로 ASSANet을 확장하여 더 큰 변형(예: ASSANet (L))을 생성한다.
• PointNet++, PVCNN, KPConv, PosPool, DeepGCN 등과의 비교 결과를 제공한다.

실험 결과

연구 질문

• RQ1 PointNet++의 SA 병목을 정확도를 희생하지 않고 완화할 수 있는가?
• RQ2 Separable 처리와 이방성 감소가 이웃 특징 집계의 속도와 정확도 모두를 개선하는가?
• RQ3 ASSANet은 표준 3D 작업(분류, 의미 분할, 부분 분할)에서 최첨단 방법과 비교해 어떤 성능을 보이는가?
• RQ4 너비와 깊이 확장이 ASSANet의 정확도-속도 트레이드오프에 어떤 영향을 미치는가?

주요 결과

방법	mIoU (%)	추론 속도(초당 추론 수)
PointNet	41.1	185.0
DeepGCN	52.5	0.8
PointCNN	57.3	124.1
Grid-GCN	57.8	123.5
PVCNN	59.0	89.8
PosPool* (S)	61.3	21.0
SegGCN	63.6	29.3
KPConv	65.4	1.2 (24.2)
PosPool*	66.7	8.3
PointNet++	55.6	116.6
ASSANet	63.0 (+7.4)	188.6 (1.6x)
ASSANet (L)	66.8 (+11.2)	65.6

• ASSANet은 S3DIS Area-5에서 PointNet++보다 mIoU가 7.4 포인트 높고 추론 속도는 1.6배 빠르다.
• ASSANet (L)은 S3DIS Area-5에서 66.8 mIoU에 도달하며 다수의 방법보다 정확도가 높고 훨씬 빠르다(예: DeepGCN보다 294배, KPConv보다 54.6배 빠름).
• ModelNet40 분류에서 ASSANet은 92.4% OA(+1.7) 속도 2.1배; ASSANet (L)은 92.9% OA(+2.2) 속도 1.3배를 달성한다.
• ShapeNetPart에서 ASSANet와 ASSANet (L)은 PointNet++를 앞서고 훨씬 빠르다; ASSANet (L)은 KPConv보다 약 7.8배 빠르다.
• 절단 결과 PreConv SA, Separable SA, 특히 ASSA가 일반 SA보다 속도와 정확도를 향상시키며 Anisotropic Reduction이 가장 큰 정확도 이점을 제공한다.
• 확장 분석은 너비와 깊이 증가가 정확도를 향상시키는 반면 속도 변화는 관리 가능하며 더 높은 너비에서 수익이 감소한다.