[論文レビュー] PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies

Guocheng Qian, Yuchen Li+5 more|arXiv (Cornell University)|Jun 9, 2022

3D Surveying and Cultural Heritage被引用数 412

ひとこと要約

本論文は PointNet++ を現代の学習・スケーリング戦略で再評価し、PointNeXt を導入し、いくつかの3Dタスクで最先端の結果を示す。

ABSTRACT

PointNet++ is one of the most influential neural architectures for point cloud understanding. Although the accuracy of PointNet++ has been largely surpassed by recent networks such as PointMLP and Point Transformer, we find that a large portion of the performance gain is due to improved training strategies, i.e. data augmentation and optimization techniques, and increased model sizes rather than architectural innovations. Thus, the full potential of PointNet++ has yet to be explored. In this work, we revisit the classical PointNet++ through a systematic study of model training and scaling strategies, and offer two major contributions. First, we propose a set of improved training strategies that significantly improve PointNet++ performance. For example, we show that, without any change in architecture, the overall accuracy (OA) of PointNet++ on ScanObjectNN object classification can be raised from 77.9% to 86.1%, even outperforming state-of-the-art PointMLP. Second, we introduce an inverted residual bottleneck design and separable MLPs into PointNet++ to enable efficient and effective model scaling and propose PointNeXt, the next version of PointNets. PointNeXt can be flexibly scaled up and outperforms state-of-the-art methods on both 3D classification and segmentation tasks. For classification, PointNeXt reaches an overall accuracy of 87.7 on ScanObjectNN, surpassing PointMLP by 2.3%, while being 10x faster in inference. For semantic segmentation, PointNeXt establishes a new state-of-the-art performance with 74.9% mean IoU on S3DIS (6-fold cross-validation), being superior to the recent Point Transformer. The code and models are available at https://github.com/guochengqian/pointnext.

研究の動機と目的

• PointNet++ の学習とスケーリング戦略を系統的に研究する動機を提示し、ネットワークの潜在能力を引き出す。
• 改善された学習だけでベンチマークにおける PointNet++ の性能を大幅に向上させることを示す。
• スケーラブルで効率的な3D点群理解のために、PointNeXt を生み出す建築的・スケーリングの改善を提案する。
• PointNeXt が分類とセグメンテーションのタスク全般で優れた精度と速度を達成することを示す。

提案手法

• PointNet++ に対するデータ拡張と最適化技法の系統的評価を実施し、効果的な学習改善を特定する。
• 相対位置正規化の組み込みにより、学習を安定化させ加速させる。
• 残差接続と分離可能MLPを用いたInvResMLPブロックによる建築的近代化と効率的なスケーリング。
• 幹部となるアーキテクチャ変更として stem MLP、対称デコーダ、再設計されたエンコーダの深さを含み、スケーラブルな PointNeXt 変種を実現。
• PointNeXt ファミリー（S, B, L, XL）を、制御された幅と深さのスケーリングパラメータとともに定義する。

実験結果

リサーチクエスチョン

• RQ1 現代的な学習戦略（データ拡張と最適化）を用い、アーキテクチャを変更せずに PointNet++ の性能を回復・超過させることができるか。
• RQ2 PointNet++ を最先端の点群ネットワークと競うべく、効果的かつ効率的にスケールさせるにはどうすればよいか。
• RQ3 どの建築的変更（正規化、残差接続、分離可能MLP）が性能とスケーラビリティを最も改善するか。
• RQ4 提案された学習と建築的変更が、分類とセグメンテーションのベンチマーク全体で実際に改善につながるか。
• RQ5 異なる PointNeXt 構成は、タスク全体での精度と推論速度の観点でどのように機能するか。

主な発見

• 改善された学習戦略のみで PointNet++ の OA が ScanObjectNN で 77.9% から 86.1% に上昇し、いくつかの SOTA 手法を上回った。
• S3DIS セマンティケーション（6-fold で）において、学習改善により平均 IoU が 54.5% から 68.1% に上昇し、後発のいくつかのアーキテクチャを上回る。
• PointNeXt-S/B/L/XL は顕著な向上を達成し、例えば PointNeXt-XL は S3DIS 6-fold で 74.9% mIoU、ScanObjectNN で 90.3% OA を達成し、いくつかのベースラインより高速。
• PointNeXt-L は mIoU で最先端の Point Transformer を上回りつつ推論はより高速に保てる。PointNeXt-XL は検討されたバリアントの中で最も良い報告結果を提供。
• ScanObjectNN の物体分類では PointNeXt-S が 87.7% OA を達成し、PointMLP を上回り推論は 10 倍高速。
• PointNeXt-S (C=64) を用いた ShapeNetPart の結果は、ins. mIoU および cls. mIoU が競争力ある、または優位であり、スループットの大幅な向上を示す。非常に大きな幅 (C=160) では 87.0% ins. mIoU を得る。