[論文レビュー] Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation

Li Jiang, Hengshuang Zhao+4 more|arXiv (Cornell University)|Sep 23, 2019

3D Shape Modeling and Analysis参考文献 29被引用数 32

ひとこと要約

本稿では、二重ブランチフレームワークを用いて点とエッジ特徴を同時に学習することで、3次元点群の意味セグメンテーションを向上させる階層的ポイントエッジインタラクションネットワークを提案する。エッジアップサンプリングを用いた階層的グラフ構築により、複数層の点特徴を段階的にエッジ表現に統合し、その後、意味的一致性正則化を用いて点の予測を精緻化する。S3DISおよびScanNetデータセットにおいて最先端の性能を達成した。

ABSTRACT

We achieve 3D semantic scene labeling by exploring semantic relation between each point and its contextual neighbors through edges. Besides an encoder-decoder branch for predicting point labels, we construct an edge branch to hierarchically integrate point features and generate edge features. To incorporate point features in the edge branch, we establish a hierarchical graph framework, where the graph is initialized from a coarse layer and gradually enriched along the point decoding process. For each edge in the final graph, we predict a label to indicate the semantic consistency of the two connected points to enhance point prediction. At different layers, edge features are also fed into the corresponding point module to integrate contextual information for message passing enhancement in local regions. The two branches interact with each other and cooperate in segmentation. Decent experimental results on several 3D semantic labeling datasets demonstrate the effectiveness of our work.

研究の動機と目的

• 点とその局所的近傍点間の意味的関係を明示的にモデル化することで、3次元点群の意味セグメンテーションを向上させること。
• 既存のポイントベースのネットワークが局所的文脈情報を十分に捉えられていないという限界を、明示的なエッジモデリングによって克服すること。
• 複数層のポイント特徴を段階的にエッジ表現に統合する階層的グラフフレームワークを設計すること。
• 隣接するポイントからの幾何的および意味的文脈をエンコードするエッジ特徴を統合することで、ポイント特徴学習を向上させること。
• 接続されたポイント間の意味的一致性を用いてエッジ特徴を正則化し、特徴の識別性を向上させること。

提案手法

• 本手法は二重ブランチアーキテクチャを採用：エンコーダ・デコーダのポイントブランチは意味ラベル付けを、別個のエッジブランチはエッジ特徴の学習を担当。
• 粗いレイヤーから初期化し、エッジアップサンプリングを介して深層からのポイント特徴を段階的に統合することで、階層的グラフを構築。
• 接続されたノードのポイント特徴を組み合わせる学習可能な関数を用いてエッジ特徴を計算。連結（concatenation）が最も優れた性能を示した。
• エッジ特徴をポイントブランチにフィードバックし、局所的メッセージパッシングを強化し、ポイント表現を向上。
• 最終エッジ特徴に意味的一致性損失を適用し、同じクラスに属する点が類似したエッジ表現を持つよう促進。
• 多スケールエッジ特徴を用いて、層間でポイント特徴を豊かにし、文脈モデリングを向上。

実験結果

リサーチクエスチョン

• RQ1 ポイントとその近傍点の間の明示的エッジモデリングは、標準的なポイントベース手法と比較して3次元意味セグメンテーション性能を向上させることができるか？
• RQ2 複数層のポイント特徴を効果的にエッジ表現に統合する方法は何か？
• RQ3 エッジ特徴に意味的一致性を強制することで、特徴の識別性とセグメンテーション精度が向上するか？
• RQ4 幾何的および意味的文脈を両方効果的に捉えるために最適なエッジ特徴集約関数は何か？
• RQ5 エッジアップサンプリングを用いた階層的グラフ構築は、各レイヤーごとに独立してグラフを構築する方法と比較してどのように異なるか？

主な発見

• S3DISデータセットにおいて、提案手法は平均交差率（mIoU）67.83%を達成し、以前の最先端手法を上回った。
• ScanNet v2のテストセットでは、mIoUが61.8%に達し、PointNet++（33.9%）およびPointCNN（45.8%）を顕著に上回った。
• アブレーションスタディの結果、ポイント特徴の連結が最も優れたエッジ関数を示し、差分、和、ハダマール積を上回った。
• 階層的グラフ構築とエッジアップサンプリングを削除すると、mIoUは57.01%に低下し、多層特徴統合の重要性が示された。
• ソフトマックスを用いたアダプティブアグリゲーション（AdaAggre）は、最大プーリング followed 連結よりも性能が低く、重み付きメッセージパッシングよりも特徴の組み合わせが効果的であることが示された。
• 意味的一致性正則化を施したエッジブランチは、全ベンチマークでmIoUと精度が向上しており、特徴の識別性が向上していることが裏付けられた。