[論文レビュー] Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic Segmentation via Clustering Pseudo Heatmap

Jinke Li, Xiao He+4 more|arXiv (Cornell University)|May 14, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

Panoptic-PHNet は、シフトされた点から生成されたクラスタリング疑似ヒートマップを用いて、ヒートマップとオフセットブランチの不一致を解消するリアルタイムで高精度な LiDARD パノプティックセグメンテーションフレームワークを提案する。本手法は、正確なオフセットレジームレーションを実現する knn-Transformer を採用し、細粒度のボクセル特徴とマルチリーチフィールド BEV 特徴を統合して強力な特徴抽出を実現しており、SemanticKITTI および nuScenes で最先端の性能を達成するとともに、リアルタイム推論速度を維持している。

ABSTRACT

As a rising task, panoptic segmentation is faced with challenges in both semantic segmentation and instance segmentation. However, in terms of speed and accuracy, existing LiDAR methods in the field are still limited. In this paper, we propose a fast and high-performance LiDAR-based framework, referred to as Panoptic-PHNet, with three attractive aspects: 1) We introduce a clustering pseudo heatmap as a new paradigm, which, followed by a center grouping module, yields instance centers for efficient clustering without object-level learning tasks. 2) A knn-transformer module is proposed to model the interaction among foreground points for accurate offset regression. 3) For backbone design, we fuse the fine-grained voxel features and the 2D Bird's Eye View (BEV) features with different receptive fields to utilize both detailed and global information. Extensive experiments on both SemanticKITTI dataset and nuScenes dataset show that our Panoptic-PHNet surpasses state-of-the-art methods by remarkable margins with a real-time speed. We achieve the 1st place on the public leaderboard of SemanticKITTI and leading performance on the recently released leaderboard of nuScenes.

研究の動機と目的

• 提案されたフレームワークは、プロポーザルフリーな LiDAR パノプティックセグメンテーションにおける、分離されたヒートマップとオフセットブランチの不一致を解消することを目的とする。
• 軽量で効率的なアテンションメカニズムを用いて、正確なオフセットレジームレーションを可能にすることで、インスタンスセグメンテーションの精度を向上させることを目的とする。
• 細粒度のボクセル特徴とマルチスケール BEV 特徴を統合することで、より良いセマンティックおよびインスタンスセグメンテーションのための特徴表現を強化することを目的とする。
• 大規模な LiDAR ベンチマークにおいて、高い精度を損なわず、リアルタイム推論速度を達成することを目的とする。

提案手法

• シフトされたインスタンス点を鳥眼視点（BEV）グリッドに投影することで、クラスタリング疑似ヒートマップを生成し、ピクセルの強度が点の密度を表す。このヒートマップは、自然なインスタンス中心の指標として機能する。
• 同じインスタンスからの重複する中心を統合するためのセンタークラスファイニングモジュールを導入し、オフセット予測の不正確さにもかかわらずインスタンスの完全性を保証する。
• k 個の最近傍点に注目する knn-Transformer モジュールにより、インスタンス点間の局所的空間的相互作用をモデル化し、計算コストを抑えつつオフセットレジームレーションの精度を向上させる。
• バックボーンは、Unet に類似たネットワークから得られる 2D BEV 特徴と細粒度のボクセル特徴を統合し、局所的詳細とグローバルコンテキストの両方を組み合わせて表現を強化する。
• オフセット予測ヘッドは、各インスタンス点に対して 2D オフセットをレジームレートし、その後、これらのオフセットに基づいて点をシフトして疑似ヒートマップを生成する。
• 最終的なインスタンスセグメンテーションは、疑似ヒートマップから予測されたインスタンス中心に基づいて、すべてのインスタンス点をクラスタリングすることで達成される。

実験結果

リサーチクエスチョン

• RQ1 シフトされた点から直接生成された疑似ヒートマップは、プロポーザルフリーなパノプティックセグメンテーションにおけるヒートマップとオフセットブランチの不一致を解消できるか？
• RQ2 knn を用いたトランスフォーマー モジュールは、最小限の計算コストでオフセットレジームレーションの精度をどのように向上させるか？
• RQ3 細粒度のボクセル特徴とマルチリーチフィールド BEV 特徴を統合することで、パノプティックセグメンテーションの性能はどの程度向上するか？
• RQ4 提案手法は、大規模な LiDAR ベンチマークにおいて、高い精度とリアルタイム推論速度の両方を達成できるか？

主な発見

• Panoptic-PHNet は、パブリックな SemanticKITTI ランキングで 1 位を獲得し、パノプティック品質（PQ）が 61.7% に達し、先行する最先端手法を上回った。
• nuScenes データセットでは、PQ が 61.7%、PQ^Th が 69.3% を達成し、最近リリースされたランクイングで最も優れた性能を示した。
• アブレーションスタディの結果、細粒度のボクセル特徴を組み込むことで、mIoU が 1.2% 向上し、PQ が 1.1% 向上した。これは、精度向上に寄与する重要性を示している。
• knn-Transformer モジュールは k=25 のときに最適な性能を示し、終点誤差（EPE）を 13.7 cm まで低減した。これは、DS-Net（64.3 cm）と Panoptic-PolarNet（44.9 cm）を顕著に上回った。
• 定性的な結果から、混雑した都市部のシーンにおいて、3 つの密接に接近したインスタンスを正しくセグメンテーションできるのは Panoptic-PHNet のみであることが確認され、複雑なシナリオにおけるロバスト性を裏付けた。
• 本手法はリアルタイム推論速度を維持しており、10 FPS のしきい値（図 1 の緑色領域）を満たしながら、評価されたすべての手法の中で最高の PQ を達成した。