[論文レビュー] Scalable SoftGroup for 3D Instance Segmentation on Point Clouds

Thang X. Vu, Kookhoi Kim+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、誤り伝播を低減するため、硬い予測の代わりにソフトなセマンティックスコアを使用することで、グループ化中に誤りが広がるのを防ぐ、スケーラブルな3次元インスタンスセグメンテーションフレームワークであるSoftGroupとSoftGroup++を提案する。SoftGroup++は、オクトリーk-NN、クラスに特化したピラミッドスケーリング、および遅延ボクセル化を用いることで、大規模なシーンにおいて最大6倍の高速化を達成し、屋内および屋外のベンチマークでAP50において6–16%の向上を達成している。

ABSTRACT

This paper considers a network referred to as SoftGroup for accurate and scalable 3D instance segmentation. Existing state-of-the-art methods produce hard semantic predictions followed by grouping instance segmentation results. Unfortunately, errors stemming from hard decisions propagate into the grouping, resulting in poor overlap between predicted instances and ground truth and substantial false positives. To address the abovementioned problems, SoftGroup allows each point to be associated with multiple classes to mitigate the uncertainty stemming from semantic prediction. It also suppresses false positive instances by learning to categorize them as background. Regarding scalability, the existing fast methods require computational time on the order of tens of seconds on large-scale scenes, which is unsatisfactory and far from applicable for real-time. Our finding is that the $k$-Nearest Neighbor ($k$-NN) module, which serves as the prerequisite of grouping, introduces a computational bottleneck. SoftGroup is extended to resolve this computational bottleneck, referred to as SoftGroup++. The proposed SoftGroup++ reduces time complexity with octree $k$-NN and reduces search space with class-aware pyramid scaling and late devoxelization. Experimental results on various indoor and outdoor datasets demonstrate the efficacy and generality of the proposed SoftGroup and SoftGroup++. Their performances surpass the best-performing baseline by a large margin (6\% $\sim$ 16\%) in terms of AP$_{50}$. On datasets with large-scale scenes, SoftGroup++ achieves a 6$ imes$ speed boost on average compared to SoftGroup. Furthermore, SoftGroup can be extended to perform object detection and panoptic segmentation with nontrivial improvements over existing methods. The source code and trained models are available at \url{https://github.com/thangvubk/SoftGroup}.

研究の動機と目的

• 3次元インスタンスセグメンテーションにおける硬いセマンティック予測からの誤り伝播を解消し、IoUの低さと誤検出を低減する。
• ポイントが複数のクラスに属するのを許容することで、ソフトなセマンティックスコアを用いてインスタンスセグメンテーションの精度を向上させる。
• k-NNと探索空間の計算ボトルネックを軽減することで、大規模な3次元シーンにおけるリアルタイム推論を可能にする。
• 一貫した性能向上を実現するように、オブジェクト検出およびパノプティックセグメンテーションへの拡張を図る。
• 大規模なポイントクラウドにおいて推論時間を短縮しながら高い精度を維持する、スケーラブルで一般化可能なフレームワークを構築する。

提案手法

• SoftGroupは、硬いワンホット予測の代わりにソフトなセマンティックスコアを用いてインスタンスグループ化を実行し、局所的な曖昧さに起因する誤分類を低減する。
• トップダウンの精練段階では、真値とのIoUに基づいてインスタンス候補をポジティブまたはネガティブに分類し、ポジティブを精錬し、誤検出を抑制する。
• SoftGroup++は、従来のk-NNの代わりにオクトリーに基づくk-NNを採用し、時間計算量をO(n²)からO(n log n)に削減する。
• クラスに特化したピラミッドスケーリングにより、グループ化中に高信頼度のクラス固有の領域に焦点を当てることで、探索空間を縮小する。
• 遅延ボクセル化により、ボクセル化を後段の処理に延期し、空間分解能を保持するとともに、中間計算を削減する。
• フレームワークは、インスタンスセグメンテーション、オブジェクト検出、パノプティックセグメンテーションのエンドツーエンド学習および推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いセマンティック予測からの誤り伝播を緩和するために、ソフトなセマンティックスコアがインスタンスセグメンテーションの精度向上に寄与するか？
• RQ2 大規模な3次元ポイントクラウド処理におけるk-NNの計算ボトルネックを効果的に軽減する方法は何か？
• RQ3 提案手法が大規模なシーンにスケーリング可能であり、高い精度を維持できる範囲はどの程度か？
• RQ4 SoftGroupフレームワークは、オブジェクト検出やパノプティックセグメンテーションなどの他の3次元認識タスクに一般化可能か？
• RQ5 インスタンスマスクのバックフュージョンがセマンティックセグメンテーションの性能に与える影響は何か？

主な発見

• SoftGroupは、複数の屋内および屋外データセットで、最良のベースライン比でAP50を6–16%向上させ、特にScanNetでは最大16%の向上を達成した。
• SoftGroup++は、SoftGroupと比較して、大規模なシーンで平均6倍の高速化を達成し、450万点のポイントクラウドに対して推論時間を数十秒から10秒未塔に短縮した。
• ScanNet v2の検証セットでは、インスタンスマスクをセマンティックマップにバックフュージョンすることでmIoUが0.7ポイント向上し、キャビネットと冷蔵庫のように意味的に類似したクラスに特に効果的だった。
• オブジェクト検出において、SoftGroupとSoftGroup++はそれぞれAP50が59.6、AP25が71.7を達成し、ScanNetで既存手法を上回った。
• SemanticKITTIにおけるパノプティックセグメンテーションでは、SoftGroupとSoftGroup++は競争力のあるPQスコアを達成しており、Advancedモデル（例：Panoptic-PHNet）と組み合わせることでさらなる向上が期待できる。
• SSTNetとの統合により、AP50は64.9%から67.7%に向上し、スーパーポイントベースの手法と強い相乗効果を示した。