[論文レビュー] PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds

Mutian Xu, Runyu Ding+2 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 58被引用数 28

ひとこと要約

PAConvは、Weight Bankから重み行列を動的に組み立てる畳み込みカーネルを構築し、ScoreNetにより点の位置に基づいて導かれ、3D点群上でシンプルなバックボーンでも高い性能を発揮します。

ABSTRACT

We introduce Position Adaptive Convolution (PAConv), a generic convolution operation for 3D point cloud processing. The key of PAConv is to construct the convolution kernel by dynamically assembling basic weight matrices stored in Weight Bank, where the coefficients of these weight matrices are self-adaptively learned from point positions through ScoreNet. In this way, the kernel is built in a data-driven manner, endowing PAConv with more flexibility than 2D convolutions to better handle the irregular and unordered point cloud data. Besides, the complexity of the learning process is reduced by combining weight matrices instead of brutally predicting kernels from point positions. Furthermore, different from the existing point convolution operators whose network architectures are often heavily engineered, we integrate our PAConv into classical MLP-based point cloud pipelines without changing network configurations. Even built on simple networks, our method still approaches or even surpasses the state-of-the-art models, and significantly improves baseline performance on both classification and segmentation tasks, yet with decent efficiency. Thorough ablation studies and visualizations are provided to understand PAConv. Code is released on https://github.com/CVMI-Lab/PAConv.

研究の動機と目的

• 3D点群の不規則性と無秩序な性質を解消する。
• シンプルなバックボーンでも機能するプラグアンドプレイの畳み込み演算子を提供する。
• 固定カーネルや総当たりのカーネル予測手法よりもモデリングの柔軟性を高める。
• 分類およびセグメンテーションのベンチマークで最先端または競争力のある性能を示す。

提案手法

• 複数の基底重み行列からなるWeight Bankを定義する。
• 相対的な点の位置から係数を予測する ScoreNetを用いる。
• 動的カーネルをBank行列の加重和として構築する：K(p_i,p_j)=sum_m S_ij^m B_m。
• 点関係に基づく入力（座標や距離など）でScoreNetを訓練する。
• 相関損失L_corrを用いて多様性を促すよう重み行列を正則化する。

実験結果

リサーチクエスチョン

• RQ1 位置適応的に動的に組み立てられたカーネルは、重くエンジニアリングされたバックボーンを必要とせず点群の畳み込みを改善できるか？
• RQ2 カーネル組み立ての仕組みは、 brute-forceカーネル予測や固定カーネル点手法と比較して精度と効率の点でどうか？
• RQ3 ScoreNetの入力、正規化、重みの多様性は性能にどのような影響を与えるか？
• RQ4 PAConvは単純なネットワークアーキテクチャで物体レベルおよびシーンレベルのタスクを一般化できるか？

主な発見

Method (time order)	Input	Accuracy
PAConv (PN2) w/o vot.	1K points	93.2%
PAConv (DGC) w/o vot.	1K points	93.6%
PAConv (DGC) w/ vot.	1K points	93.9%
PointNet++	1K points	?

• PAConvはModelNet40でVotingなしの場合、PointNetを4.0ポイント、DGCNNを1.0ポイント上回る。
• ShapeNet Partでは、DGCNNを用いたPAConvがクラスIoUとインスタンスIoUをそれぞれ2.3ポイントおよび0.9ポイント改善。
• S3DISでは、L_corrを用いたPAConvがブロック抽出法の中で最良のmIoUを達成し、PointNet++を9.31ポイント上回る。
• PAConvは一部のベースラインよりもFLOPsが notably 低く、競争力または最先端の性能を達成。
• 相関正則化バージョンのPAConvはセグメンテーション精度（mIoU）と重みの多様性に追加の利得をもたらす。