[論文レビュー] Towards Accurate Instance Segmentation in Large-Scale Lidar Point Clouds

Binbin Xiang, Torben Peters+5 more|arXiv (Cornell University)|Jan 1, 2023

Remote Sensing and LiDAR Applications被引用数 3

ひとこと要約

本論文は、3次元LiDAR点群における密接に配置されたまたは重複する物体のインスタンスセグメンテーションを向上させるために、3次元の重心オフセット予測と判別性のあるポイント埋め込みを組み合わせたボトムアップのパノプティックセグメンテーションパイプラインを提案する。この手法は、都市部のNPM3Dデータセットで74.3%、密集した森のFOR-instanceデータセットで68.9%の最先端のF1スコアを達成し、後者のデータセットではPointGroupを17ポイント以上も上回った。

ABSTRACT

Panoptic segmentation is the combination of semantic and instance segmentation: assign the points in a 3D point cloud to semantic categories and partition them into distinct object instances. It has many obvious applications for outdoor scene understanding, from city mapping to forest management. Existing methods struggle to segment nearby instances of the same semantic category, like adjacent pieces of street furniture or neighbouring trees, which limits their usability for inventory- or management-type applications that rely on object instances. This study explores the steps of the panoptic segmentation pipeline concerned with clustering points into object instances, with the goal to alleviate that bottleneck. We find that a carefully designed clustering strategy, which leverages multiple types of learned point embeddings, significantly improves instance segmentation. Experiments on the NPM3D urban mobile mapping dataset and the FOR-instance forest dataset demonstrate the effectiveness and versatility of the proposed strategy.

研究の動機と目的

• 大規模な屋外3次元LiDAR点群において、近接または重複する物体インスタンスを正確にセグメンテーションする課題に対処すること。
• 特に隣接する木や街路施設など、同じ意味的カテゴリに属する物体に対して、インスタンスセグメンテーションのボトルネックを克服すること。
• 領域特化のチューニングや複雑な後処理を必要としない、強固で一般化可能なパイプラインを開発すること。
• 物体の境界が曖昧または重複する都市部および森の環境でも、性能を向上させること。
• クラスタリングに幾何的ヒント（オフセット）と学習された埋め込みを組み合わせることで、明確に分離されたインスタンスにポイントをクラスタリングする有効性を示すこと。

提案手法

• 処理可能なサイズの重複する入力ブロックに大規模な点群を分割するため、シリンダーベースのスライディングウィンドウを用いる。
• 各ポイントの特徴を抽出するための3次元UNetバックボーンを採用し、その後に意味セグメンテーション、重心オフセット予測、埋め込み特徴学習のための別々のブランチを設ける。
• 二重ブランチクラスタリング戦略を適用：予測された3次元重心オフセットを用いて初期クラスタを最適化し、学習された判別性のある埋め込みを用いて重複または連接するインスタンスを分離する。
• ブロック単位での推論を実施し、隣接するシリンダ間で予測を統合することで一貫性を確保し、インスタンスの断片化を防ぐ。
• 非最大抑制（NMS）とScoreNetヘッドを適用し、インスタンス予測の精度を向上させ、セグメンテーション品質を改善する。
• 計算効率と空間的文脈の保持のバランスを図るため、20–25 cmのボクセルサイズを用いたボクセルグリッドフィルタリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 3次元オフセット予測と学習された埋め込みを組み合わせたハイブリッドクラスタリング戦略は、大規模な3次元点群におけるインスタンスセグメンテーションを顕著に改善できるか？
• RQ2 同じ意味的カテゴリに属する隣接するインスタンス（例：隣接する木、街路施設）が重複するような困難な状況下でも、本手法はどのように性能を発揮するか？
• RQ3 多様な屋外環境における強固なインスタンスセグメンテーションを実現するための、入力ブロックサイズ（シリンダ半径）とボクセル解像度の最適な設定は何か？
• RQ4 PointGroupなどの既存の最先端手法と比較して、本手法のインスタンスセグメンテーションの正確性とデータセット間での一般化性能はどの程度か？
• RQ5 領域特化のハイパーパrameterチューニングや複雑な後処理を一切行わずに、本手法がどの程度高い性能を達成できるか？

主な発見

• 提案手法はNPM3D都市部データセットで74.3%のF1スコアを達成し、ベースライン手法を顕著に上回った。
• FOR-instance森データセットでは68.9%のF1スコアを達成し、PointGroupと比較して17.3ポイントも向上した。
• 20–40 cmの範囲内でボクセルサイズが性能にほとんど影響を与えないことが判明し、最適な性能は20–25 cmで得られた。
• シリンダ半径を4 mから8 mに増加させることで、木のインスタンス全体をよりよくカバーできるようになり、インスタンスセグメンテーション指標が向上した。
• オフセット予測と判別性のある埋め込みの組み合わせにより、境界が曖昧な森環境においても、連接または重複する物体を強固に分離できるようになった。
• 都市部および森の両方のデータセットで妥当性が確認されたように、地域特化のチューニングや後処理を一切必要とせず、多様な環境に良好に一般化された。