[論文レビュー] Cascaded Non-local Neural Network for Point Cloud Semantic Segmentation

Mingmei Cheng, Le Hui+3 more|arXiv (Cornell University)|Jul 30, 2020

3D Shape Modeling and Analysis参考文献 29被引用数 5

ひとこと要約

本稿では、局所的、スーパーポイント的、グローバルなレベルで階層的な非局所演算を用いて長距離依存関係を捉えることで、ポイントクラウドのセマンティックセグメンテーションに適した段階的非局所ニューラルネットワーク（PointNL）を提案する。これらの演算を段階的に組み合わせることで、ベースラインの非局所ネットワークと比較して計算コストとGPUメモリ使用量を低減しつつ、最先端のmIoU性能を達成する。

ABSTRACT

In this paper, we propose a cascaded non-local neural network for point cloud segmentation. The proposed network aims to build the long-range dependencies of point clouds for the accurate segmentation. Specifically, we develop a novel cascaded non-local module, which consists of the neighborhood-level, superpoint-level and global-level non-local blocks. First, in the neighborhood-level block, we extract the local features of the centroid points of point clouds by assigning different weights to the neighboring points. The extracted local features of the centroid points are then used to encode the superpoint-level block with the non-local operation. Finally, the global-level block aggregates the non-local features of the superpoints for semantic segmentation in an encoder-decoder framework. Benefiting from the cascaded structure, geometric structure information of different neighborhoods with the same label can be propagated. In addition, the cascaded structure can largely reduce the computational cost of the original non-local operation on point clouds. Experiments on different indoor and outdoor datasets show that our method achieves state-of-the-art performance and effectively reduces the time consumption and memory occupation.

研究の動機と目的

• 不規則で順序のない3次元ポイントクラウドにおける長距離の文脈的依存関係を捉える課題に対処すること。
• ポイントクラウドにおける標準的な非局所演算の高い計算コストとメモリ消費量を低減すること。
• 局所的、スーパーポイント的、グローバルなスケールで幾何構造情報の伝搬を活用することで、特徴の識別能を向上させること。
• 効率的な学習と推論を実現しつつ、ポイントクラウドのセマンティックセグメンテーションで最先端の性能を達成すること。

提案手法

• 本手法は、3段階のレベル（局所レベル、スーパーポイントレベル、グローバルレベル）を持つ段階的非局所モジュールを導入する。
• 局所レベルでは、基準点のk近傍点間で注意重みを計算することで、局所的特徴を強化する非局所演算を実行する。
• スーパーポイントレベルでは、幾何的に等方的特性を有する領域（スーパーポイント）間で、学習された注意を用いて特徴をアグリゲートする非局所演算を実行する。
• グローバルレベルでは、すべてのスーパーポイントからの非局所特徴をアグリゲートすることで、ポイントクラウド全体にわたる長距離依存関係を捉える。
• エンコーダ・デコーダアーキテクチャに段階的非局所モジュールを統合し、PointNet++をインspiredしたエンドツーエンドのセマンティックセグメンテーションを実現する。
• 階層的な設計により、非局所演算を徐々に粗いスケールに限定することで、計算複雑度を低減し、全ポイントクラウドの計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 階層的な非局所機構は、ポイントクラウドデータの長距離依存関係を効果的にモデル化でき、セマンティックセグメンテーションの性能向上に寄与するか？
• RQ2 局所的、スーパーポイント的、グローバルなスケールで段階的に非局所演算を組み合わせることで、セグメンテーションの精度と計算効率にどのような影響を与えるか？
• RQ3 段階的非局所モジュールは、ポイントクラウドにおける標準的な非局所ネットワークのメモリおよび時間的オーバーヘッドをどの程度低減できるか？
• RQ4 提案手法は、mIoUの観点で既存の最先端モデルを上回りつつ、リソース消費量を低く抑えられるか？

主な発見

• S3DISデータセットでは、Area 5でmIoU 63.50%を達成し、ベースライン非局所手法（54.76%）とPointWeb（60.28%）を上回った。
• ScanNetデータセットでは、ベースラインよりmIoUで5.6%の絶対的向上を示し、屋内シーンにおける優れた性能を示した。
• 大規模なSemanticKITTIデータセットでは、mIoU 52.2%を達成し、PointNet++（20.1%）とDarkNet53Seg（49.9%）を上回り、屋外環境でも高いロバスト性を示した。
• 学習時間は6日間から1.8日間に短縮され、GPUメモリ使用量は60GBから8GBに低下し、大幅な効率向上が達成された。
• バッチあたりの推論時間は1.5秒（PointWeb）から0.35秒に短縮され、より高速な推論と高いモデル効率性を実現した。
• アブレーションスタディの結果、3つのレベルすべてに非局所演算を追加した（PointNL 123）場合にmIoUが最大の63.50%を記録し、各段階で段階的な向上が確認された。