[論文レビュー] Multi Point-Voxel Convolution (MPVConv) for Deep Learning on Point Clouds

Wei Zhou, Xin Cao+4 more|arXiv (Cornell University)|Jul 28, 2021

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本論文では、3次元畳み込みニューラルネットワーク（3D CNN）と多層パーセプトロン（MLP）を用いて、ポイントベースとボクセルベースの特徴を統合する、新しい3次元CNNモジュールであるMulti Point-Voxel Convolution（MPVConv）を提案する。この手法により、ポイント特徴の近隣集約性が向上し、ボクセル特徴の独立性が強化される。MPVConvは、PointNetの精度を最大36%向上させ、ボクセルベースのモデルと比較して最大34倍の高速化を達成し、低遅延で最先端のモデルを上回る性能を発揮する。

ABSTRACT

The existing 3D deep learning methods adopt either individual point-based features or local-neighboring voxel-based features, and demonstrate great potential for processing 3D data. However, the point based models are inefficient due to the unordered nature of point clouds and the voxel-based models suffer from large information loss. Motivated by the success of recent point-voxel representation, such as PVCNN, we propose a new convolutional neural network, called Multi Point-Voxel Convolution (MPVConv), for deep learning on point clouds. Integrating both the advantages of voxel and point-based methods, MPVConv can effectively increase the neighboring collection between point-based features and also promote independence among voxel-based features. Moreover, most of the existing approaches aim at solving one specific task, and only a few of them can handle a variety of tasks. Simply replacing the corresponding convolution module with MPVConv, we show that MPVConv can fit in different backbones to solve a wide range of 3D tasks. Extensive experiments on benchmark datasets such as ShapeNet Part, S3DIS and KITTI for various tasks show that MPVConv improves the accuracy of the backbone (PointNet) by up to extbf{36\%}, and achieves higher accuracy than the voxel-based model with up to extbf{34}$ imes$ speedups. In addition, MPVConv outperforms the state-of-the-art point-based models with up to extbf{8}$ imes$ speedups. Notably, our MPVConv achieves better accuracy than the newest point-voxel-based model PVCNN (a model more efficient than PointNet) with lower latency.

研究の動機と目的

• 3次元ポイントクラウド学習におけるポイントベースモデルの非効率性とボクセルベースモデルの情報損失を解決すること。
• スレッドセグメンテーションや3次元検出などの多様なタスクをサポートできる汎用的な3次元ディープラーニングモジュールを設計すること。
• ポイント表現の近隣集約性とボクセル表現の特徴独立性という両者の長所を統合的に活用する、一貫性があり効率的なアーキテクチャを構築すること。
• PointNetなどの既存バックボーンに容易に統合可能なプラグアンドプレイ型の設計を実現し、3次元ビジョンタスクへの広範な適用性を確保すること。

提案手法

• MPVConvは、ポイントベース特徴とボクセルベース特徴のそれぞれに特化した、3次元CNNとMLPの2本の分岐アーキテクチャを採用する。
• 1×1×1の3次元畳み込みを用いて、ポイントとボクセル表現間のクロスモダリティ特徴相互作用を統合・強化する。
• 融合モジュールにより、両分岐からの特徴を統合し、メモリや遅延の大幅な増加を伴わずに特徴表現を向上させる。
• 異なる解像度でポイントとボクセルを処理することで、マルチスケール特徴学習を実現し、局所的な幾何的理解を強化する。
• 階層的特徴集約を活用して、ポイントベース特徴における局所的近隣接続性を強化する。
• モジュラーかつ多様なバックボーンと互換性を持つようにアーキテクチャを設計し、さまざまな3次元タスクへの容易な適応を可能にする。

Figure 1: MPVConv increases neighborhood collection in point-based features and independence in voxel-based features by adopting 3D CNNs and MLPs on both types of features.

実験結果

リサーチクエスチョン

• RQ1 統一された3次元畳み込みモジュールは、ポイントベースとボクセルベースのディープラーニングの長所を効果的に統合し、性能と効率性の両面で向上をもたらすことができるか？
• RQ2 MPVConvは、ポイントベース特徴の近隣集約性をどのように向上させるとともに、ボクセルベース特徴の独立性を促進するか？
• RQ3 MPVConvは、部品セグメンテーション、インDoorシーンセグメンテーション、3次元検出などの多様な3次元タスクにおいて、精度と速度をどの程度向上させ得るか？
• RQ4 PVCNN や F-PointNet といった最先端モデルと比較して、MPVConvは精度、推論速度、メモリ効率の観点でどの程度優れているか？
• RQ5 MPVConvは、PointNet などの既存バックボーンにシームレスに統合可能であり、複数のベンチマークで性能を向上させることができるか？

主な発見

• ShapeNet Part データセットにおいて、MPVConvはPointNetバックボーンの精度を最大36%向上させ、mIoU 85.76% を達成した。
• S3DIS データセットでは、大規模なインDoorシーンセグメンテーションにおいて79.85% のmIoUを達成し、F-PVCNN や他のベースラインを上回った。
• KITTI における3次元検出タスクでは、F-MPVCNN がF-PointNet よりもmAPを最大13.2%向上させ、ハードな歩行者クラスではF-PointNet++ よりも8.6%向上した。
• MPVConvは、ボクセルベースのモデルと比較して最大34倍の高速化を達成しながらも、より高い精度を維持しており、優れた効率性を示した。
• MPVConvに組み込まれた1×1×1の3次元CNNレイヤーは、mIoUを0.04%向上させたが、遅延は0.4ms増加し、メモリオーバーヘッドは0.009GBにとどまった。
• アブレーションスタディの結果、融合モジュールと統合特徴成分（V₁ + V₂ + P₂）が性能向上に不可欠であり、完全なMPVConv構成が最良の結果をもたらした。

Figure 2: Segmentation results on ShapeNet Part. (a)(c) Ground truth. (b)(d) Our results.