[論文レビュー] Decoupled Local Aggregation for Point Cloud Learning

Binjie Chen, Yunzhou Xia+3 more|arXiv (Cornell University)|Aug 31, 2023

3D Surveying and Cultural Heritage被引用数 12

ひとこと要約

本論文は DeLA を導入する。DeLA は点群の軽量なデカップルド局所集約フレームワークで、特徴に空間情報をエンコードし、edge max-pooling を用いた単純なプーリングを使用して、遅延を削減しつつ最先端の結果を達成する。

ABSTRACT

The unstructured nature of point clouds demands that local aggregation be adaptive to different local structures. Previous methods meet this by explicitly embedding spatial relations into each aggregation process. Although this coupled approach has been shown effective in generating clear semantics, aggregation can be greatly slowed down due to repeated relation learning and redundant computation to mix directional and point features. In this work, we propose to decouple the explicit modelling of spatial relations from local aggregation. We theoretically prove that basic neighbor pooling operations can too function without loss of clarity in feature fusion, so long as essential spatial information has been encoded in point features. As an instantiation of decoupled local aggregation, we present DeLA, a lightweight point network, where in each learning stage relative spatial encodings are first formed, and only pointwise convolutions plus edge max-pooling are used for local aggregation then. Further, a regularization term is employed to reduce potential ambiguity through the prediction of relative coordinates. Conceptually simple though, experimental results on five classic benchmarks demonstrate that DeLA achieves state-of-the-art performance with reduced or comparable latency. Specifically, DeLA achieves over 90\% overall accuracy on ScanObjectNN and 74\% mIoU on S3DIS Area 5. Our code is available at https://github.com/Matrix-ASC/DeLA .

研究の動機と目的

• 局所集約の複雑さを低減する動機づけとして、空間関係の学習を集約からデカップル化する。
• 各段階で関係を学習せずに局所空間情報を保持するための空間エンコードを提案する。
• Interleavedなポイントごとの演算と edge pooling を用いて、DeLAを軽量ネットワークとして構築する。
• 空間エンコードの活用を促し、曖昧さを低減する正則化を導入する。
• 分類とセグメンテーションの標準ベンチマークで高い性能を示す。

提案手法

• エンコードされた点特徴から局所的に相対座標を回復する空間エンコードを定義する。
• 標準的な局所集約を、g, M, h を用いた集合埋め込みベースのメッセージパッシングとして分解する（Equation 7）。
• 局所特徴伝播（Local Feature Propagation, LFP）と edge max-pooling を用いてDeLAを集約に実装する。
• 各段階で近傍関係を処理する小さな PointNet を用いて空間エンコードを形成する。
• FPS またはグリッドサブサンプリングでダウンサンプリングし、ソース特徴を保持するためのスキップ接続を使用する。
• 隣接点間の相対座標を予測する正則化項を適用し、トレーニング中にこの項を減衰させる。

実験結果

リサーチクエスチョン

• RQ1 局所集約から明示的な空間関係学習をデカップリングすることで、点群における特徴の融合の明瞭さを維持または向上させられるか？
• RQ2 点特徴に空間情報を埋め込むことで、基本的なプーリングが競争力のあるまたは優れた性能を発揮できるか？
• RQ3 異なる空間エンコードと集約演算子がセグメンテーションと分類タスクに与える影響は何か？
• RQ4 一般的なベンチマークにおける精度と効率の観点で、DeLAは最先端手法とどのように比較されるか？

主な発見

手法	OA	mAcc	mIoU	スループット	列	窓	ドア	テーブル	椅子	ソファ	本	ボード	散乱物
DeLA (ours)	92.2	80.0	74.1	468	55.1	61.4	76.0	84.4	93.2	85.7	79.4	80.8	65.2

• DeLA は、ベンチマーク全体で遅延を削減または同等に保ちながら最先端の性能を達成する。
• On S3DIS Area 5, DeLA attains OA 92.2, mAcc 80.0, mIoU 74.1, with throughput 468 instances/sec.
• On ScanNet v2, DeLA achieves the best validation mIoU among reported methods with a compact parameter count (8.0M).
• On ShapeNetPart, DeLA reaches ins. mIoU 87.0 and cat. mIoU 85.8 without voting, closely rivaling or surpassing many methods.
• On ScanObjectNN and ModelNet40, DeLA achieves OA 90.4 and 94.0 respectively with competitive mAcc 89.3 and 92.2.
• The ablations show relative spatial encoding (especially rel-first and rel-rest) is effective, and edge max-pooling provides robust aggregation.