[논문 리뷰] Rethinking Network Design and Local Geometry in Point Cloud: A Simple Residual MLP Framework

Xu Ma, Can Qin외 3명|arXiv (Cornell University)|2022. 02. 15.

3D Shape Modeling and Analysis인용 수 307

한 줄 요약

PointMLP는 점 구름 분석을 위한 간단한 잔차 MLP 네트워크와 경량 기하적 아핀 모듈을 제시하여, 다수의 로컬 기하 추출기보다 빠른 속도에 비해 최첨단 혹은 경쟁력 있는 성능을 달성합니다.

ABSTRACT

Point cloud analysis is challenging due to irregularity and unordered data structure. To capture the 3D geometries, prior works mainly rely on exploring sophisticated local geometric extractors using convolution, graph, or attention mechanisms. These methods, however, incur unfavorable latency during inference, and the performance saturates over the past few years. In this paper, we present a novel perspective on this task. We notice that detailed local geometrical information probably is not the key to point cloud analysis -- we introduce a pure residual MLP network, called PointMLP, which integrates no sophisticated local geometrical extractors but still performs very competitively. Equipped with a proposed lightweight geometric affine module, PointMLP delivers the new state-of-the-art on multiple datasets. On the real-world ScanObjectNN dataset, our method even surpasses the prior best method by 3.3% accuracy. We emphasize that PointMLP achieves this strong performance without any sophisticated operations, hence leading to a superior inference speed. Compared to most recent CurveNet, PointMLP trains 2x faster, tests 7x faster, and is more accurate on ModelNet40 benchmark. We hope our PointMLP may help the community towards a better understanding of point cloud analysis. The code is available at https://github.com/ma-xu/pointMLP-pytorch.

연구 동기 및 목표

• Point cloud analysis를 위해 정교한 로컬 기하 추출기가 필요한지 의문을 제기한다.
• 무거운 로컬 피처 추출기 없이 작동하는 심층 잔차 MLP 아키텍처를 제안한다.
• 경량 기하 아핀 모듈로 강인성과 성능을 개선한다.
• 여러 점 구름 벤치마크에서 효율성과 확장성을 보여준다.

제안 방법

• 사전 정의된 로컬 기하 추출기에 의존하지 않는 순수 잔차 MLP 네트워크를 사용하여 점 구름 표현을 학습한다.
• 사전-MLP와 사후-MLP(각각 두 개의 잔차 블록을 포함)를 적용한 후 최대 풀링으로 로컬 특징을 집계한다.
• 로컬 이웃 특징을 정규화하고 적응시키는 경량 기하 아핀 모듈을 도입한다.
• 빠른 추론을 위해 더 매개변수 효율적인 병목형 MLP 블록으로 구성된 엘리트 변종을 개발한다.
• 각 단계에서 kNN(K=24) 이웃을 지역 집계에 활용하여 다단계 계층으로 구성한다.

실험 결과

연구 질문

• RQ1 순수 잔차 MLP 아키텍처(PointMLP)가 정교한 로컬 기하 추출기 없이도 표준 점 구름 벤치마크에서 경쟁력 있거나 더 우수한 성능을 달성할 수 있는가?
• RQ2 경량 기하 아핀 모듈이 안정성, 강인성, 정확도에 미치는 영향은 무엇인가?
• RQ3 깊이와 아키텍처 변형이 ModelNet40 및 ScanObjectNN의 성능 및 추론 속도에 어떤 영향을 미치는가?
• RQ4 PointMLP가 ShapeNetPart의 3D 파트 세분화에서 최첨단 방법과 비교해 어떻게 평가되는가?
• RQ5 컨볼루션/그래프/어텐션 기반 점 구름 방법과 비교하여 정확도와 효율성 사이의 우호적인 균형이 있는가?

주요 결과

Method	Inputs	mAcc(%)	OA(%)	Param.	Train speed	Test speed
PointNet	1k P	86.0	89.2	1.41M
PointNet++	1k P	-	90.7	1.41M	223.8	308.5
PointNet++	5k P+N	-	91.9	1.41M
PointConv	1k P+N	-	92.5	18.6M	17.9	10.2
KPConv	7k P	-	92.9	15.2M	31.0*	80.0*
DGCNN	1k P	-	92.9	-	-	-
RS-CNN	1k P	-	92.9	-	-	-
DensePoint	1k P	-	93.2	-	-	-
PointASNL	1k P	-	92.9	-	-	-
Point Trans.	1k P	-	92.8	-	-	-
CurveNet	1k P	-	94.2	2.04M	20.8	15.0
PointMLP w/o vot.	1k P	91.3	94.1	12.6M	47.1	112
PointMLP w/ vot.	1k P	91.4	94.5	12.6M	47.1	112
PointMLP-elite w/o vot.	1k P	90.9	93.6	0.68M	116	176
PointMLP-elite w/ vot.	1k P	90.7	94.0	0.68M	116	176

• PointMLP는 ModelNet40에서 1k 포인트로 94.5% OA의 최첨단 성능을 달성한다.
• ScanObjectNN PB_T50_RS에서 PointMLP는 83.9% mAcc 및 85.4% OA(네 번의 실행 평균)를 달성한다.
• PointMLP-elite은 매개변수를 0.68M으로 축소하고 ModelNet40에서 90.9% mAcc, 93.6% OA를 달성한다.
• 기하학적 아핀 모듈은 실험 전체에서 PointMLP의 OA를 약 3% 포인트 정도 안정적으로 향상시킨다.
• PointMLP는 ScanObjectNN에서 다수의 방법보다 우수하며, 로컬 추출기가 복잡한 방법보다 추론 속도가 더 빠른 편이다.
• ShapeNetPart에서 PointMLP는 경쟁력 있는 mIoU 및 인스턴스 IoU를 보이며, KPConv보다 빠른 추론 속도와 높은 정확도를 유지한다.