[논문 리뷰] PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies

Guocheng Qian, Yuchen Li외 5명|arXiv (Cornell University)|2022. 06. 09.

3D Surveying and Cultural Heritage인용 수 412

한 줄 요약

이 논문은 현대식 학습 및 스케일링 전략으로 PointNet++를 재평가하고, PointNeXt를 도입하며, 여러 3D 작업에서 최첨단 결과를 보인다.

ABSTRACT

PointNet++ is one of the most influential neural architectures for point cloud understanding. Although the accuracy of PointNet++ has been largely surpassed by recent networks such as PointMLP and Point Transformer, we find that a large portion of the performance gain is due to improved training strategies, i.e. data augmentation and optimization techniques, and increased model sizes rather than architectural innovations. Thus, the full potential of PointNet++ has yet to be explored. In this work, we revisit the classical PointNet++ through a systematic study of model training and scaling strategies, and offer two major contributions. First, we propose a set of improved training strategies that significantly improve PointNet++ performance. For example, we show that, without any change in architecture, the overall accuracy (OA) of PointNet++ on ScanObjectNN object classification can be raised from 77.9% to 86.1%, even outperforming state-of-the-art PointMLP. Second, we introduce an inverted residual bottleneck design and separable MLPs into PointNet++ to enable efficient and effective model scaling and propose PointNeXt, the next version of PointNets. PointNeXt can be flexibly scaled up and outperforms state-of-the-art methods on both 3D classification and segmentation tasks. For classification, PointNeXt reaches an overall accuracy of 87.7 on ScanObjectNN, surpassing PointMLP by 2.3%, while being 10x faster in inference. For semantic segmentation, PointNeXt establishes a new state-of-the-art performance with 74.9% mean IoU on S3DIS (6-fold cross-validation), being superior to the recent Point Transformer. The code and models are available at https://github.com/guochengqian/pointnext.

연구 동기 및 목표

• 네트워크의 잠재력을 최대한 끌어내기 위해 PointNet++의 학습 및 스케일링 전략에 대한 체계적인 연구를 촉진한다.
• 향상된 학습만으로도 벤치마크에서 PointNet++의 성능이 크게 향상될 수 있음을 입증한다.
• 확장 가능하고 효율적인 3D 포인트 구름 이해를 위해 PointNeXt를 만들기 위한 아키텍처 및 스케일링 향상을 제안한다.
• PointNeXt가 분류 및 세분화 과제 전반에서 우수한 정확도와 속도를 달성함을 보인다.

제안 방법

• PointNet++에 대한 데이터 증강 및 최적화 기법의 체계적 평가를 통해 효과적인 학습 개선점을 식별한다.
• 학습을 안정화하고 가속화하기 위한 상대 위치 정규화를 도입한다.
• 효율적 스케일링을 위한 잔여 연결 및 분리 가능한 MLP를 갖춘 InvResMLP 블록을 통한 아키텍처 현대화.
• 스탬프 MLP, 대칭 디코더, 수정된 인코더 깊이를 포함한 매크로-아키텍처 변경으로 확장 가능한 PointNeXt 변형을 가능하게 한다.
• 제어된 너비 및 깊이 스케일링 매개변수를 가진 PointNeXt 계열(S, B, L, XL)을 정의한다.

실험 결과

연구 질문

• RQ1 아키텍처를 변경하지 않고도 현대식 학습 전략(데이터 증강 및 최적화)이 PointNet++의 성능을 회복하고 능가할 수 있는가?
• RQ2 PointNet++를 최첨단 포인트 구름 네트워크와 경쟁할 수 있도록 효과적이고 효율적으로 스케일링하는 방법은?
• RQ3 성능과 스케일러빌리티를 가장 크게 향상시키는 아키텍처 변화(정규화, 잔여 연결, 분리 가능한 MLP 등)는 무엇인가?
• RQ4 제안된 학습 및 아키텍처 수정이 분류 및 세분화 벤치마크 전반에 걸쳐 이점을 가져오는가?
• RQ5 다양한 PointNeXt 구성은 작업 간 정확도 및 추론 속도 면에서 어떻게 성능을 보이는가?

주요 결과

• 향상된 학습 전략만으로 ScanObjectNN에서 PointNet++ OA를 77.9%에서 86.1%로 끌어올려 여러 SOTA 방법들을 능가한다.
• S3DIS 세분화(6배)에서 학습 개선으로 평균 IoU를 54.5%에서 68.1%로 상승시켜 여러 차후 아키텍처를 능가한다.
• PointNeXt-S/B/L/XL은 강력한 이득을 달성하며, 예를 들어 PointNeXt-XL은 S3DIS 6-fold에서 74.9% mIoU, ScanObjectNN에서 90.3% OA에 도달하고 일부 기준선보다 빠르다.
• PointNeXt-L은 mIoU 면에서 최첨단 Point Transformer를 능가하면서 추론 속도도 더 빨라졌고; PointNeXt-XL은 연구 대상 변형들 중 최상의 보고 결과를 제공한다.
• ScanObjectNN의 객체 분류에서 PointNeXt-S는 87.7% OA를 달성해 PointMLP를 능가하고 추론이 10배 빨라진다.
• PointNeXt-S(C=64)로 ShapeNetPart 결과는 인스. mIoU와 cls. mIoU에서 경쟁력 있거나 우수하며 처리량이 크게 증가한다; 매우 큰 너비(C=160)에서는 87.0% ins. mIoU를 얻는다.