[論文レビュー] Semantic Segmentation for Point Cloud Scenes via Dilated Graph Feature Aggregation and Pyramid Decoders

Yongqiang Mao, Xian Sun+5 more|arXiv (Cornell University)|Apr 11, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本論文は、拡張グラフ畳み込みを用いてマルチ受容 field 特徴の集約を実現し、マルチベーシス集約損失（MALoss）を備えたピラミッドデコーダーを組み合わせた、点群の意味的セグメンテーションのための新規フレームワークDGFA-Netを提案する。この手法は、類似した空間的構造を持つインスタンスの識別を向上させる。S3DIS、ShapeNetPart、Toronto-3Dのベンチマークで最先端の性能を達成し、mIoUは61.8%から65.8%に、OAは88.94%から94.78%に向上した。

ABSTRACT

Semantic segmentation of point clouds generates comprehensive understanding of scenes through densely predicting the category for each point. Due to the unicity of receptive field, semantic segmentation of point clouds remains challenging for the expression of multi-receptive field features, which brings about the misclassification of instances with similar spatial structures. In this paper, we propose a graph convolutional network DGFA-Net rooted in dilated graph feature aggregation (DGFA), guided by multi-basis aggregation loss (MALoss) calculated through Pyramid Decoders. To configure multi-receptive field features, DGFA which takes the proposed dilated graph convolution (DGConv) as its basic building block, is designed to aggregate multi-scale feature representation by capturing dilated graphs with various receptive regions. By simultaneously considering penalizing the receptive field information with point sets of different resolutions as calculation bases, we introduce Pyramid Decoders driven by MALoss for the diversity of receptive field bases. Combining these two aspects, DGFA-Net significantly improves the segmentation performance of instances with similar spatial structures. Experiments on S3DIS, ShapeNetPart and Toronto-3D show that DGFA-Net outperforms the baseline approach, achieving a new state-of-the-art segmentation performance.

研究の動機と目的

• 受容 field の一意性に起因する、類似した空間的構造を持つインスタンスの誤分類という点群意味的セグメンテーションの課題に対処する。
• 固定KNNに基づく受容 field の制限を克服し、マルチスケールの局所的関係学習を可能にする。
• 拡張グラフとマルチスケールのポイントセットを計算の根拠として用いて、マルチ受容 field 特徴を体系的に表現する手法を導入する。
• 新規のマルチベーシス集約損失（MALoss）を用いて、複数の受容 field ベースでの最適化により特徴表現を強化する。
• 特に壁やボードのようないずれにでも似た平面インスタンスに対して、標準ベンチマークで最先端の性能を達成する。

提案手法

• 可変の拡張率を備えたスパースKNN検索戦略を用いてスパースで拡張されたグラフを構築する、拡張グラフ畳み込み（DGConv）を提案する。これによりマルチスケールの受容 field を捉える。
• DGConvを用いて複数の拡張率と受容領域での特徴集約を実行する、コアコンponentsである拡張グラフ特徴集約（DGFA）モジュールを設計する。
• 異なる解像度レベルの特徴をデコードするピラミッドデコーダーを実装する。各デコーダーは、受容 field 計算の根拠として使用される別々のポイントセット解像度に対応する。
• ピラミッドデコーダーの出力間の差異をペナルティ化するマルチベーシス集約損失（MALoss）を導入し、マルチスケール特徴学習における多様性と頑健性を促進する。
• DGFA内に密なスキップ接続を統合し、特徴の伝搬と再利用を向上させ、特徴階層と受容 field カバー範囲を改善する。
• マルチスケールのDGConv出力を結合するための連結ベースの集約関数を用い、実験的に最も優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 類似した空間的構造（例えば隣接する平面オブジェクト）を持つ点群インスタンスのセグメンテーションを、マルチ受容 field 特徴が顕著に改善できるか？
• RQ2 複数の解像度のポイントセットを受容 field 計算の根拠として用いることで、特徴表現とセグメンテーション精度にどのような影響を与えるか？
• RQ3 点群セグメンテーションにおいて、多様な受容 field を捉えるために最適な拡張率の組み合わせは何か？
• RQ4 マルチベーシス集約損失（MALoss）は、ネットワークの類似インスタンスの区別能力をどの程度向上させるか？
• RQ5 効率的なモジュール（例：DGFA）を備えた浅いネットワークは、より深い重いモデルと比較して、パrameter数を減らしても最先端の性能を達成できるか？

主な発見

• DGFA-Netは、S3DISデータセットで65.8%という新しい最先端のmIoUを達成し、ベースライン手法から3.2%向上した。
• MALossとDGFA内の密な接続を組み合わせた場合、mIoUは61.8%から65.8%に上昇し、両者の有効性が裏付けられた。
• 最良の拡張率の組み合わせは{1, 2, 4, 8}であり、65.8%の最高mIoUを達成した。これは、より多くの受容 field スケールが特徴の多様性を向上させることを示している。
• DGConv出力の集約関数として連結を使用した場合が最も優れた性能を示し、他の集約戦略を上回った。
• DGConvにおける最適なサンプリングステップΔ = 4は、スパarsityと特徴の豊かさのバランスを最も良くし、最高のmIoUを達成した。
• DGFA-Netは、浅いアーキテクチャであるにもかかわらず、多くの既存手法と比較してパrameter数を減らしつつも優れた性能を達成しており、実用的で効率的である。