[論文レビュー] Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations

Xu Wang, Jingming He+1 more|arXiv (Cornell University)|Nov 12, 2019

3D Shape Modeling and Analysis参考文献 28被引用数 24

ひとこと要約

本稿では、文脈的点表現、グラフアテンションを備えたグラフポイントネットモジュール、空間的／チャネル別アテンションを用いて局所的およびグローバル構造モデリングを向上させる、新しいポイントクラウド意味セグメンテーションモデルELGSを提案する。S3DISおよびScanNetにおいて最先端の性能を達成し、S3DISでは88.43%のmIoU、ScanNetでは60.06%のmIoUを記録。推論時間も効率的を維持している。

ABSTRACT

In this paper, we propose one novel model for point cloud semantic segmentation, which exploits both the local and global structures within the point cloud based on the contextual point representations. Specifically, we enrich each point representation by performing one novel gated fusion on the point itself and its contextual points. Afterwards, based on the enriched representation, we propose one novel graph pointnet module, relying on the graph attention block to dynamically compose and update each point representation within the local point cloud structure. Finally, we resort to the spatial-wise and channel-wise attention strategies to exploit the point cloud global structure and thereby yield the resulting semantic label for each point. Extensive results on the public point cloud databases, namely the S3DIS and ScanNet datasets, demonstrate the effectiveness of our proposed model, outperforming the state-of-the-art approaches. Our code for this paper is available at https://github.com/fly519/ELGS.

研究の動機と目的

• スパarsな、順序のないポイントクラウドにおける3次元意味セグメンテーションの課題に対処するため、文脈的情報を用いて点表現を向上させる。
• 単純な点のパーティショニングを越えた複雑な局所構造をモデル化することで、局所特徴の学習を向上させる。
• 遠く離れた点同士のグローバルな関係を明示的に活用することで、意味ラベル付けの精度を向上させる。
• 高い性能を維持しつつ計算コストを抑える効率的なアーキテクチャを設計する。

提案手法

• 独自のゲート付き融合機構を用いて、点自身の特徴とその近隣点の特徴を統合する文脈的表現モジュールを導入する。
• 局所的近傍内での点特徴を動的に更新するため、グラフアテンションブロックを用いたグラフポイントネットモジュール（GPM）を提案する。
• 空間的およびチャネル別アテンション機構を用いて、全体のポイントクラウドにわたる長距離依存性とグローバルコンテキストをモデル化する。
• GPMの階層的スタッキングにより、局所スケールからグローバルスケールへと、コンactな高レベル表現を段階的に構築する。
• ポイントクラウド意味セグメンテーションのためのエンドツーエンド学習可能なフレームワークに、すべてのモジュールを統合する。
• 特徴学習における局所的詳細とグローバルコンテキストのバランスを取るために、マルチスケール集約戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 点とその近隣点のゲート付き融合は、スパarsで順序のないポイントクラウドにおける意味表現を向上させることができるか？
• RQ2 学習可能なグラフアテンション機構は、PointNet++における固定パーティショニングよりも複雑な局所構造をよりよくモデル化できるか？
• RQ3 空間的およびチャネル別グローバル関係を明示的にモデル化することで、ポイントクラウドにおけるセグメンテーション精度が向上するか？
• RQ4 提案されたモジュールは個別および統合的に全体の性能とロバストネスにどのように寄与するか？
• RQ5 既存の最先端手法と比較して、低コストの推論を維持しながら高い精度を達成できるか？

主な発見

• 提案モデルはS3DISデータセットで88.43%のmIoU、ScanNetデータセットで60.06%のmIoUを達成し、最先端手法を上回った。
• アブレーションスタディの結果、文脈的表現モジュールを削除するとmIoUは60.06%から56.15%に低下し、「column」や「sofa」などのカテゴリで顕著な低下が見られた。
• グラフポイントネットモジュール（GPM）は性能に不可欠であり、削除すると特に複雑な局所構造において顕著なmIoUの低下が生じた。
• アテンションモジュールを削除すると、「ceiling」、「floor」、「wall」などの広大で平坦な領域の性能が著しく低下し、mIoUの低下が最大3.5%に達した。
• 1回の4096点サンプルあたりの推論時間は28.0msであり、多くの競合手法を上回る速度を達成しながら、モデルサイズも小さく（1.04Mパラメータ）を維持した。
• スケーリングに対するロバストネスは向上（OA低下3.0%、PointNet++は4.5%）したが、回転に対する感受性はわずかに低下しており、データオーグメンテーションの感度にトレードオフが生じていることが示唆された。