[論文レビュー] GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation

Haibo Qiu, Baosheng Yu+1 more|arXiv (Cornell University)|Jul 6, 2022

3D Surveying and Cultural Heritage被引用数 25

ひとこと要約

GFNet は range-view と BEV 投影の間で双方向の幾何学的フローを学習し、マルチビュー特徴を融合して3D点群意味セグメンテーションを改善、投影ベースモデルの SemanticKITTI および nuScenes で最先端の結果を達成。

ABSTRACT

Point cloud semantic segmentation from projected views, such as range-view (RV) and bird's-eye-view (BEV), has been intensively investigated. Different views capture different information of point clouds and thus are complementary to each other. However, recent projection-based methods for point cloud semantic segmentation usually utilize a vanilla late fusion strategy for the predictions of different views, failing to explore the complementary information from a geometric perspective during the representation learning. In this paper, we introduce a geometric flow network (GFNet) to explore the geometric correspondence between different views in an align-before-fuse manner. Specifically, we devise a novel geometric flow module (GFM) to bidirectionally align and propagate the complementary information across different views according to geometric relationships under the end-to-end learning scheme. We perform extensive experiments on two widely used benchmark datasets, SemanticKITTI and nuScenes, to demonstrate the effectiveness of our GFNet for project-based point cloud semantic segmentation. Concretely, GFNet not only significantly boosts the performance of each individual view but also achieves state-of-the-art results over all existing projection-based models. Code is available at \url{https://github.com/haibo-qiu/GFNet}.

研究の動機と目的

• RVとBEVの間の幾何学的対応を利用することによって、vanillaな後置融合に頼るのではなく、投影ベースの点群セグメンテーションの改善を動機づける。
• RVとBEVの間で情報を双方向伝搬する幾何学的フローモジュールを備えたGFNetを、エンドツーエンドのフレームワークで提案する。
• RV/BEV二branch アーキテクチャでKNNポスト処理をKPConvに置換して、エンドツーエンド訓練を可能にする。
• 大規模ベンチマーク SemanticKITTI および nuScenes での有効性を示し、投影ベースモデルの中で最先端の結果を達成する。

提案手法

• 二分岐ネットワークアーキテクチャは、エンコーダ-デコーダバックボーンを用いてRVとBEVの入力を処理する。
• Geometric Flow Module (GFM) は、RVとBEV間のビュー間変換を用いて幾何学的整列を実行する。
• GFM には、自己注意と残差接続を介して整列済み特徴とターゲット特徴を結合するアテンション融合ステップが含まれる。
• 幾何学的整列は、元の点群を橋渡しとして使用し、ビュー間の変換行列を計算する。
• GFNet の上に KPConv を用いて KNN を置換し、エンドツーエンドのトレーニングを可能にする。
• 損失は Lovasz-Softmax とクロスエントロピー項を用いて 2D および 3D の監督を結合し、すべての部品をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 RVとBEV間の幾何学的対応を活用して、点群セグメンテーションのための横断ビュー情報伝播を改善できるか？
• RQ2 RVとBEV間の双方向幾何フローは、 vanilla late fusion と比較して各ビューの表現と全体的な融合を改善しますか？
• RQ3 GFM における注意機構ベースの融合がセグメンテーション性能に与える影響は何ですか？
• RQ4 GFNet は大規模ベンチマーク SemanticKITTI および nuScenes において、既存の投影ベース手法と比較してどうですか？
• RQ5 KPConv を用いたエンドツーエンド訓練は、多視点投影ベースのセグメンテーションに効果的ですか？

主な発見

• GFNet は SemanticKITTI の検証において、比較対象のすべての投影ベースモデルよりも mIoU を改善した。
• RV-Single および BEV-Single の両方のブランチは GFM の組み込みから顕著な性能向上を得ており、ビュー間のフローを許すと大幅な利得が得られる。
• RV-Flow と BEV-Flow は強力な横断ビュー改善を示し、KPConv との連結は GFNet の最高性能を生み出す。
• Attention in GFM (softmax) provides marginal gains over sigmoid and improves fusion effectiveness.
• Ablations show that jointly training with 2D and 3D supervision (λ configuration) yields best results, with end-to-end optimization enhancing performance.