[論文レビュー] RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds

Qingyong Hu, Bo Yang+6 more|arXiv (Cornell University)|Nov 25, 2019

3D Shape Modeling and Analysis参考文献 68被引用数 133

ひとこと要約

RandLA-Net は、ランダムサンプリングと軽量な局所特徴アグリゲータを用いて大規模な 3D 点群に対するポイント単位のセマンティックセグメンテーションを実行し、Semantic3D および SemanticKITTI において最先端の結果を達成しつつ、従来手法よりもはるかに高速でメモリ効率が高い。

ABSTRACT

We study the problem of efficient semantic segmentation for large-scale 3D point clouds. By relying on expensive sampling techniques or computationally heavy pre/post-processing steps, most existing approaches are only able to be trained and operate over small-scale point clouds. In this paper, we introduce RandLA-Net, an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds. The key to our approach is to use random point sampling instead of more complex point selection approaches. Although remarkably computation and memory efficient, random sampling can discard key features by chance. To overcome this, we introduce a novel local feature aggregation module to progressively increase the receptive field for each 3D point, thereby effectively preserving geometric details. Extensive experiments show that our RandLA-Net can process 1 million points in a single pass with up to 200X faster than existing approaches. Moreover, our RandLA-Net clearly surpasses state-of-the-art approaches for semantic segmentation on two large-scale benchmarks Semantic3D and SemanticKITTI.

研究の動機と目的

• 効率的なセマンティックセグメンテーションを、大規模で不規則な 3D 点群に対して、重い前処理/後処理なしで動機付ける。
• ランダムサンプリングが頑健な局所特徴アグリゲータと組み合わせられれば有効であることを示す。
• LocSE ベースの局所空間エンコーディングと注意機構プーリングを導入し、ダウンサンプリング時のジオメトリを保持する。
• RandLA-Net が、従来の精度を維持または超えつつ、速度とメモリ節約を substantial に達成することを示す。

提案手法

• 大規模な点群を単一パスでダウンサンプリングするためにランダムサンプリングを使用し、費用の高い FPS/IDIS ベースの手法を回避する。
• 局所的な近傍幾何を明示的に埋め込む LocSE ユニットを導入する。
• 隣接特徴を適応的に重み付けして結合する注意型プーリングを適用する。
• LocSE と注意型プーリングを拡張受容野を段階的に拡大する拡張残差ブロックとして積み重ねる。
• グラフ構築やボクセル化のステップを回避し、軽量な共有 MLP でネットワークを構築する。
• 固定小数点サブセット (~1e5 点) で Adam によるエンドツーエンド学習を行い、事前/事後処理なしで全体のクラウドでテストする。

実験結果

リサーチクエスチョン

• RQ1 ランダムサンプリングは heavy preprocessing なしでマルチミリオン点雲のリアルタイムまたはほぼリアルタイムのセマンティックセグメンテーションを可能にするか。
• RQ2 データをダウンサンプリングする際に、局所幾何と特徴を如何に保持できるのか。
• RQ3 LocSE と注意型プーリングの拡張残差配置は、大規模な点群の受容野を効果的に拡大するか。
• RQ4 Semantic3D および SemanticKITTI における最先端手法と比較した際の RandLA-Net の効率と精度のトレードオフはどうなるか。

主な発見

方法	総時間（ s ）	パラメータ（M）	最大入力点数（M）
PointNet (Vanilla)	192	0.8	0.49
PointNet++ (SSG)	9831	0.97	0.98
PointCNN	8142	11	0.05
SPG	43584	0.25	-
KPConv	717	14.9	0.54
RandLA-Net (Ours)	185	1.24	1.03

• RandLA-Net は単一パスで最大 1,000,000 点を処理でき、既存手法より最大 200 倍高速で大規模点群を扱える。
• 前処理/後処理なしで大規模点群（例：最大 1e6 点）を直接処理し、Semantic3D および SemanticKITTI で最先端の結果を達成する。
• 0.04s/1e5 点クラウドのデモと Sequence 08（SemanticKITTI）での 22 FPS は強力なリアルタイム能力を示す。
• RandLA-Net は Semantic3D で 77.4 mIoU、SemanticKITTI で 53.9 mIoU（入力点数 50k）を達成し、多くのベースラインを上回りつつパラメータ数を抑える。
• アブレーションでは LocSE または注意モジュールを除くと性能が大幅に低下することが示され、局所幾何エンコーディングと適応的特徴重み付けの有効性を確認できる。