[論文レビュー] Rethinking Network Design and Local Geometry in Point Cloud: A Simple Residual MLP Framework

Xu Ma, Can Qin+3 more|arXiv (Cornell University)|Feb 15, 2022

3D Shape Modeling and Analysis被引用数 307

ひとこと要約

PointMLP はポイントクラウド解析のための単純な残差型 MLP ネットワークと軽量な幾何アファインモジュールを提示し、多くの局所幾何抽出器と比較して推定速度に優れつつ、最先端または競合的な結果を達成します。

ABSTRACT

Point cloud analysis is challenging due to irregularity and unordered data structure. To capture the 3D geometries, prior works mainly rely on exploring sophisticated local geometric extractors using convolution, graph, or attention mechanisms. These methods, however, incur unfavorable latency during inference, and the performance saturates over the past few years. In this paper, we present a novel perspective on this task. We notice that detailed local geometrical information probably is not the key to point cloud analysis -- we introduce a pure residual MLP network, called PointMLP, which integrates no sophisticated local geometrical extractors but still performs very competitively. Equipped with a proposed lightweight geometric affine module, PointMLP delivers the new state-of-the-art on multiple datasets. On the real-world ScanObjectNN dataset, our method even surpasses the prior best method by 3.3% accuracy. We emphasize that PointMLP achieves this strong performance without any sophisticated operations, hence leading to a superior inference speed. Compared to most recent CurveNet, PointMLP trains 2x faster, tests 7x faster, and is more accurate on ModelNet40 benchmark. We hope our PointMLP may help the community towards a better understanding of point cloud analysis. The code is available at https://github.com/ma-xu/pointMLP-pytorch.

研究の動機と目的

• ポイントクラウド解析における高度な局所幾何抽出器の必要性を問う。
• heavy な局所特徴抽出器を用いずに動作する深い残差 MLP アーキテクチャを提案する。
• 軽量な幾何アファインモジュールで頑健性と性能を向上させる。
• 複数の点群ベンチマークで効率性とスケーラビリティを示す。

提案手法

• 事前定義された局所幾何抽出器を用いず、点群表現を学習する純粋な残差 MLP ネットワークを使用する。
• 事前 MLP と事後 MLP（各2つの残差ブロック）を適用した後、最大プーリングで局所特徴を集約する。
• 局所近傍特徴を正規化・適応する軽量な幾何アファインモジュールを組み込む。
• よりパラメータ効率の高いボトルネック型 MLP ブロックを用いたエリート変種を開発し、推論を高速化する。
• 各ステージ内で kNN (K=24) の近傍を採用して局所集約を行い、多段階の階層構造で配置する。

実験結果

リサーチクエスチョン

• RQ1 純粋な残差 MLP アーキテクチャ（PointMLP）が、高度な局所幾何抽出器を用いずに標準的な点群ベンチマークで競合的または優れた性能を達成できるか。
• RQ2 軽量な幾何アファインモジュールが安定性・頑健性・精度に与える影響は何か。
• RQ3 深さとアーキテクチャの変種がModelNet40およびScanObjectNNの性能と推論速度にどう影響するか。
• RQ4 ShapeNetPart での3D部品セグメンテーションにおける PointMLP の性能は最先端手法と比べてどうか。
• RQ5 精度と効率の間に、畳み込み/グラフ/アテンションベースの点群手法と比べて有利なトレードオフがあるか。

主な発見

Method	Inputs	mAcc(%)	OA(%)	Param.	Train speed	Test speed
PointNet	1k P	86.0	89.2	1.41M
PointNet++	1k P	-	90.7	1.41M	223.8	308.5
PointNet++	5k P+N	-	91.9	1.41M
PointConv	1k P+N	-	92.5	18.6M	17.9	10.2
KPConv	7k P	-	92.9	15.2M	31.0*	80.0*
DGCNN	1k P	-	92.9	-	-	-
RS-CNN	1k P	-	92.9	-	-	-
DensePoint	1k P	-	93.2	-	-	-
PointASNL	1k P	-	92.9	-	-	-
Point Trans.	1k P	-	92.8	-	-	-
CurveNet	1k P	-	94.2	2.04M	20.8	15.0
PointMLP w/o vot.	1k P	91.3	94.1	12.6M	47.1	112
PointMLP w/ vot.	1k P	91.4	94.5	12.6M	47.1	112
PointMLP-elite w/o vot.	1k P	90.9	93.6	0.68M	116	176
PointMLP-elite w/ vot.	1k P	90.7	94.0	0.68M	116	176

• PointMLP は ModelNet40 で 1k 点で 94.5% OA の最先端を達成。
• ScanObjectNN PB_T50_RS で PointMLP は 83.9% mAcc および 85.4% OA（4回の平均）。
• PointMLP-elite はパラメータを 0.68M に削減し、ModelNet40 で 90.9% mAcc、93.6% OA を達成。
• 幾何アファインモジュールは実験を通じて PointMLP の OA を約 3 ポイント改善。
• PointMLP は ScanObjectNN で複数の手法を上回り、局所抽出器の複雑さを持つ手法よりも推論が高速なまま。
• ShapeNetPart では PointMLP は競合的な mIoU とインスタンス IoU を示し、KPConv より推論が速く、精度は高い。